数据开发必看!火山引擎DataLeap如何解决数据隔离问题?
在离线数仓开发过程中,研发人员需要根据业务变化,在开发/生产环境中不断切换、解析、调试。以往,企业一般通过人工方式核验,但由于数据量大且类型不同,导致研发人员资源、精力投入大。
如何使同构代码在不同环境正确运行,避免因调试过程中的误操作,对生产环境直接造成数据负面风险,成为很多企业数仓研发团队的痛点之一。
近期,火山引擎DataLeap推出“项目参数管理”能力,即通过自定义项目参数分别设置开发、生产环境参数值,参数支持配置多种类型,包括Region、DB、shecma、table、date以及自定义等,且支持任务级别引用,快速帮助研发团队实现资源隔离。
(资料图片)
火山引擎DataLeap“项目参数管理”能力
以湖仓一体分析服务(LAS)引擎为例,介绍如何利用“项目参数管理”区分不同环境库和时间格式的查询。
在使用之前,由于1个业务需求常常涉及10+任务、30+参数,且不同环境DB中、table基本一致,需要管理2套代码。数仓研发人员难以避免出现测试代码在生产环境执行、表误删、数据误删等问题。
在使用之后,只需要3个步骤即可解决生产、测试环境数据隔离问题:
· 步骤一:LAS有2套环境,包括测试环境库test_dev、生产环境库test_prod 。2套环境都有相同表名LAS_table01、分区字段名datetimes。开发环境分区字段为yyyymmdd,生产环境分区格式为YYYY-MM-DD。在DataLeap中设置日期参数arg,开发环境参数值=\${date}、生产环境参数值=\${DATE}。设置库参数env,开发环境=test_dev、生产环境=test_prod。
·步骤二:对于离线数据开发任务,研发人员可以直接在代码中使用项目参数,点击“解析”“调试”,系统会自动替换为相应的开发环境参数值,并进行语法解析、权限检查等。
·步骤三:点击“提交上线”、“任务例行执行”时,对于项目参数,系统会自动替换为相应的生产环境参数值,然后进行相应的语法解析以及权限检查。从而有效提升环境代码管理效率。
据介绍,企业可以在以下场景使用火山引擎DataLeap“项目参数管理”能力:
【场景1】开发生产环境隔离
·以HSQL任务为例,为避免在开发测试阶段,因误操作影响生产库表的数据,研发人员可以在HSQL代码中使用项目参数。调试时,系统会自动替换为开发环境参数值;上线后的任务例行执行,系统将自动替换为生产环境参数值。同时,DataLeap也支持代码一致,无需在上线前批量将开发环境的库表名称替换为生产环境的库表名称。
【场景2】跨区域/项目代码同构
·一般来说,不同Region下的库、表名不同。为了实现不同Region、项目下代码同构,研发人员可以在HSQL代码中使用项目参数,来实现不同环境下,同一个任务的代码同构,有效提升环境代码管理效率。
火山引擎DataLeap让研发人员不再需要通过”调度设置-任务输入参数”的方式添加项目参数,只需定义一次参数即可轻松构建,并且实现生产、测试环境下的数据自动隔离,代码同构。除此之外,DataLeap还具备数据集成、开发、运维、治理、资产、安全等数据中台建设能力,助力企业提升数据研发效率、降低管理成本,为数字化转型提供支撑。(作者:杨文文)
标签:
相关阅读
-
英特尔发布NUC 13 Pro迷你主机,搭载13代酷睿处理器|世界头条
3月28日,英特尔推出了英特尔NUC13Pro新一代迷你主机,代号为ArenaCanyon,主机尺寸还是4x4英寸,升级到...
2023-03-28 -
SSD大崩盘!2TB M.2固态硬盘低至539元
QUANXING铨兴N301M 2固态硬盘2TBPCIe3 0当前秒杀价899元,领取满减360元优惠券,折合到手价低至539元...
2023-03-28 -
当前快讯:袁希福老中医:“肿瘤好像瘤疤,有时候瘤疤去掉了,人可能也没了”
一旦病情发展到晚期,病人身体迅速恶化,命都快保不住了,你还想着肿块大了,指标升高了,还有意义吗?没...
2023-03-28 -
步行者让了一套首发!独行侠23分大胜,终结4连败,但仍排第十一 当前观察
独行侠今天在客场以127-104大胜步行者,终结了4连败,这也是东欧组合同时出战的第四场胜利。不过即使算...
2023-03-28 -
【天天快播报】咳嗽明明如此常见,为什么有些咳嗽很难治愈?是因为没有辨证而治
咳嗽分为外感咳嗽和内伤咳嗽两大类。外感咳嗽是外感六淫侵袭肺系统;内伤咳嗽是脏腑功能失调,内邪干肺...
2023-03-28 -
英特尔发布NUC 13 Pro迷你主机,搭载13代酷睿处理器|世界头条
3月28日,英特尔推出了英特尔NUC13Pro新一代迷你主机,代号为ArenaCanyon,主机尺寸还是4x4英寸,升级到...
2023-03-28 -
SSD大崩盘!2TB M.2固态硬盘低至539元
QUANXING铨兴N301M 2固态硬盘2TBPCIe3 0当前秒杀价899元,领取满减360元优惠券,折合到手价低至539元...
2023-03-28 -
CBA哨声最多的8人,辽粤仅1人入选,乔帅4大爱徒在内,一人很意外 当前头条
CBA常规赛继续进行,今日将迎来第39轮,一共有8场比赛,其中不乏广东、辽宁、浙江等强队,第三阶段接近...
2023-03-28 -
太阳队大胜爵士队,开拓者队之后,爵士队也是正式退出附加赛竞争 每日时讯
北京时间3月28日,NBA常规赛,太阳队对阵爵士队,实力强悍的太阳队没有手下留情,开局就稳稳的取得了优...
2023-03-28
精彩推荐
阅读排行
相关词
- 沃尔沃XC90
- 观点:教你学游泳(游泳的方法和步骤)
- 全球速递!“南南合作的典范”——走进中乌友谊农业技术示范中心
- 【地评线】东湖评论:戒焦戒躁,美妆市场大有可为
- 剑灵没活力了怎么办 剑生命力耗尽法则有哪些
- 美国枪击案幸存者当面质问官员:为何校园枪击案再三发生?
- 企业租房的时候应该注意什么 房屋租赁的租客和房东要提供什么材料?
- 工行异地转账手续费 小编带你清楚了解
- 如何打开快捷方式 具体方法如下文 全球微资讯
- 灿烂的近义词是什么词(灿烂的近义词是什么)
- 全球通讯!王明的这一生简介 详细内容为你介绍
- 今日关注:下沉干部是什么意思 相关内容讲解
- 本周联盟第一雄鹿队重新回到榜首的位置
- 摔角动态肥乔首度透露自己在擂台退役后最想呆的地方
- 张雨绮八爪鱼是怎么回事 节目组霸气回应
- 南京建国甲状腺研究院哪些原因会导致我们患上甲减对我们的身体会造成什么影响
- qq空间网页版怎么登录 还不知道的看过来吧
- 卫生间如何做第二次防水 卫生间防水到底要刷几遍?
- QQ三国符鬼怎么弄啊.
- NBA常规赛尼克斯对阵火箭此役布伦森缺席 最新
- 掘金主场116比111击败76人迎来4连胜_最新快讯
- 房屋漏水常见问题有哪些原因 平房漏水怎么彻底解决方法有哪些?
- 名宿之子坐稳火箭先发:美记分析斯通不会提前续约明夏资质报价
- 房顶漏水找不到漏水点怎么办 楼上漏水楼下怎么补漏?
- 全国中小学生安全教育日:与安全“童”行
- 乔治伤退后参加综艺,细谈威少是历届最爱队友,詹姆斯成内心遗憾
- 刷墙面积怎么计算平方 房屋外墙渗水怎么彻底解决?
- 播报:苹果头显要来?WWDC 2023 6月5日见!
- 每日热闻!狂轰17球!国米34岁弃将越老越妖,完爆科雷亚,小因扎吉被打脸
- 湖人愿意留队球员出炉,哈登不被看好,开拓者获1换1交易建议 焦点快看
- 旧地砖不铲除翻新怎么处理最好 旧房翻新70平米多少钱?
- 法国零封击败爱尔兰姆巴佩承认格外关注弗格森
- 新房装修完多久可以入住 才装修完的新房一边通风一边住好吗?
- 森林狼全民皆兵而多点开花国王三分打铁陷入过多单打
- 房屋地基下沉会有什么影响 如何判断房屋地基是否下沉?
- 电风扇不转原因及维修方法视频(电风扇 不转)
- 房屋下沉怎么才能加固地基 造成地基下沉的原因有哪些?
- 【全球时快讯】森林狼击败国王拿下4连胜战绩来到39胜37负与勇士持平
- 摔角动态外媒爆料心碎小子有望在未来打两场比赛 并任一场大赛的裁判_焦点简讯
- 小区地下车库属于业主还是开发商 小区地面停车位是公摊面积吗怎么算?
- 摔角动态黑羊回应痛袭圣盾 如今这里是我的后院-热消息
- 全球焦点!森林狼队本场比赛的表现十分惊艳
- 信用卡还了多久可以再刷出来 信用卡逾期无力偿还如何处理?
- 农业银行社保卡的钱可以取出来吗安全吗 社保卡有年费吗现在?
- 股票账户丢失银行卡怎么补办 银行卡注销了还可以查流水吗?
- 致力于可持续发展,艺卓再取得两项新成果|环球关注
- 分红型保险红利怎么领取 分红保险的分红是如何计算的?
- 摔角动态怀亚特推特再发声 世界吞噬者回归在即_世界新消息
- 晴朗的拼音教学(晴朗的拼音)
- 阔达的反义词是啥(阔达的反义词)
- 需要一半留下一半打一字谜为什么是雷(需要一半留下一半打一字谜)|天天最资讯
- 千淘万漉虽辛苦的下一句诗是什么(千淘万漉虽辛苦的下一句)
- 国外泛滥成灾,在海内却是法宝,人称“红三七”,民间常用来泡酒
- 环球微动态丨哈尔滨市香坊区儿童口腔疾病综合防治宣教中心成中小学健康教育基地
- 世界热门:帕尔梅耶:当时里昂是全法最好的俱乐部
- 环球热头条丨“彩虹村”的样本价值
- NBA球队实力榜:雄鹿居首绿军第二 勇士NO.12湖人17
- 标晚:预计孔蒂的弟弟吉安卢卡-孔蒂将会和他一起离开热刺 环球关注
- b站购买邀请码有什么用_b站邀请码怎么获得 天天讯息
- NBA官宣撤销东契奇技犯目前累积15T今日出战步行者 看点
- 史密斯-罗:我不知道手术后我能不能恢复到原来的状态
- 什么烛夜游的意思(什么烛夜游)_天天微速讯
- 【世界报资讯】赞美老师的段落(赞美老师的作文)
- 我们新疆好地方视频(我们新疆好地方) 环球头条
- 摔角动态巴蒂斯塔表决心 直言愿意在自家后院打摔角挣钱|速看料
- 本赛季哈登坐镇的76人可谓是有恃无恐_每日信息
- 真保值!iPhone折旧率仅为安卓一半 三年的旧iPhone仅折旧11.3% 焦点日报
- Apple Watch无创血糖监测但还得等3年|天天播资讯
- 每日速看!焦点,重头戏!党毅飞,连胜韩第三,大功臣!中国连续3届包揽冠亚军
- 消息!飞凡F7起售20.99万元 续航666km给力
- 苹果用户大喜!iPhone折旧率赚大了-当前速读
- 天天热点评!发现恶意代码!卡巴斯基爆锤拼多多
- 新华时评:美国制度设计的初始逻辑背离民主真谛——揭穿美式民主真相之一 观速讯
- 貌合神离?42岁谢杏芳肤白貌美,1米78身材傲人,林丹不耐烦!
- 每日精选:姚明为何能成为NBA状元?抛开中国市场,这三项数据CBA无人能及
- 大美中国 候鸟北归丨记者探秘“候鸟天堂”沉湖湿地里的“黑科技”
- 畅通“知产”变“资产”渠道 全球焦点
- 润天智、招金膜天拟闯关北交所,已完成辅导备案工作 焦点速读
- 【新闻随笔】为乡村振兴注入体育动力
- 全队无力状态,一代更比一代差,洋帅该如何破解世纪难题-世界快资讯
- 国债逆回购和银行理财哪个好一点 国债逆回购1000元一天可以赚多少钱?
- 全球观点:浙江祥晋拟冲刺A股,已完成辅导备案工作
- 债券涨跌和股票涨跌有什么关系 为什么股市跌债券反而涨价?
- 逾20家公司“预喜”首季业绩 近半增幅超五成
- 正股价低于转股价是好是坏 可转债转股对股票有什么影响?
- 焦点讯息:让暖意在邻里间流淌(民生观)
- 吸金女王!中国网球名将0-2出局,无缘八强仍获奖金67万_天天速看料
- 可转债正股价格和转股价格的关系有哪些 为什么不建议玩可转债原因是什么?
- 全球消息!浙江华远、创志科技创业板IPO过会
- 微信50000怎么免费提现 微信提现手续费太贵了该怎么办?
- 9月18日是什么纪念日的图片(9月18日是什么纪念日)
- 【世界报资讯】摔角动态小妖精一连创下两个纪录 其中一项纪录有点尴尬
- 云南通报受贿人行贿人相约自动投案案例 系近年来首例-环球微动态
- 商转公顺位抵押流程是什么 顺位抵押可以抵押几次贷款?
- 作文(我和书的故事)-简讯
- 国网标志大全(国网标志) 每日视点
- 今日热闻!“数据”赋能基层“智”理
- 义安区市卫健委分列第一名
- 天天速讯:市领导赴浙江上海等地开展招商引资
- 邮享贷还款后多久恢复额度正常 邮享贷必须要人工审核吗为什么?
- 今日关注:争先恐后的反义词的四字词语(争先恐后的反义词)
- “小块头”释放“大能量” 环球今热点
- 银行卡转入余额宝要手续费吗 支付宝余额宝转银行卡多久到账?
- 苹果MR头显售价超20000元
- 环球要闻:吃了地平类降压药之后,为什么每天晚上脚肿,但睡醒了又正常?
- 微信分付有额度为什么付不了 微信怎么申请商家收款码方法有哪些?
- 环球信息:百亿补贴史低价!2T固态硬盘仅529元
- 景气度上行风电产业迎交付大年 多家上市公司中标相关项目_百事通
- 微信分付额度会涨吗为什么 微信分付关闭后可以再开通吗?
- 科瑞思正式登陆创业板,盘中一度涨逾45%
- 头条焦点:睡觉时突然腿抽筋,除了是缺钙,还需警惕这2个原因
- 新华视点|高校节约用水潜力观察:一年可节约20万个“游泳池”|快讯
- 长江健康注射用伏立康唑获批上市 进军20亿抗真菌药物市场|世界微动态
- 办一类卡要看征信吗现在 征信不好能办理信用卡吗?
- 双向奔赴促振兴 东西部协作同取“共富经”|天天热消息
- 全球微速讯:强信心·开新局丨提技能、扩渠道、强服务——就业大省稳就业观察
- 房贷月供逾期一天会怎么样 房贷可以逾期最多几天?
- 环球热议:“绿电”与“绿氢”灵活转换!我国首次实现固态氢能发电并网
- 天天热文:首批2只主板注册制新股中签率出炉 另有8只申购在即
- 新华全媒+|河南商丘宋国故城考古发现唐代墓志砖 实证“城摞城”
- 网贷银行卡号填错了钱没打进来需要还吗 网贷逾期了暂时还不上怎么解决?
- 全国中成药集采规则新鲜出炉!不完全以低价者得,降价幅度或较温和,头部企业将受益 快资讯
- 于NBA之上休斯敦火箭仍旧让不少球迷所牵挂 今日报
- 活转定可以随时取吗 定期存款和整存整取区别是什么?
- 活期转定期有风险吗现在 买理财产品好还是存定期好?
- 【世界报资讯】火箭队在整个联盟里也是高居第4的水平
- 9寸比7寸大多少(9寸) 世界热消息
- 摔角动态约翰·塞纳拍女摔真人秀居然分文钱不要-世界今亮点
- 中国新版护照样本(中国护照的样本)相关内容介绍 每日播报
- 重疾险保费豁免条件有哪些 重疾险保额买多少更合适?
- 监控摄像机维修(监控摄像头的维修小技巧) 世界报道
- 你会不会对如今不少以优秀后卫作为核心的队伍产生幻想呢
- 二三四五:3月27日融资净买入2700.61万元,连续3日累计净买入6207.52万元_全球速讯
- 诺基亚产地(诺基亚产地哪个国家的)
- 英雄联盟皓月女神 感兴趣的来看看吧-每日快报
- 【环球快播报】冰激凌原料(你能区分冰淇淋和冰棍吗?|)
- 超合金曲有哪些歌(超合金曲有哪些歌曲)下文为你带来整理-环球观点
- 香蕉蜂蜜面膜(蜂蜜敷面膜怎么做) |时快讯
- 复刻MacOS?微软Win12原型系统用户界面曝光:浮动任务栏亮相|今日观点
- 个人u盾现在还给办吗现在 办了u盾和卡给别人用会怎样?
- 洪瑛琦李世龙(洪瑛琦李世龙分手原因)
- 视讯!宁静被队友感动落泪 具体什么情况
- 资讯:牛栏奶粉真伪(三招搞定荷兰牛栏奶粉真假)
- 【播资讯】中国植树节在几月几日 想了解的看过来吧
- 2022年黄道吉日一览表 - 万年历 环球热点
- 真人版阿拉蕾(林依晨cos少女阿拉蕾)
- 潮汐王子成就(潮汐王子成就攻略)
- 环球观热点:为什么这么多人黑周星驰 这是什么原因呢
- 什么是寒食节 寒食节的由来 - 寒食节的由来传说
- 防辐射保护屏(防辐射保护屏有用吗 是智商税吗) |全球热议
- 全球观点:九等天使(九等天使是什么意思)相关内容介绍