首页 > 技术 > 正文

【全球聚看点】火山引擎DataLeap引入任务模板，助力数据研发提效

2023-04-24 19:42:11来源：中关村在线  

在数仓及中台研发过程中，研发人员经常需要在不同任务中维护相同或类似代码，不仅费时费力，并且代码迭代后也面临不同业务单元逻辑性不一致的问题，对运维管理形成挑战。

一般来说，研发人员往往通过代码模板来解决这一问题。具体而言，在核心数据处理逻辑相同的情况下，研发人员通过代码模版传入不同的任务参数，解决核心数据处理逻辑复用的问题，使得后续任务可以批量化，满足实时调用需求。

目前，任务模板已是火山引擎DataLeap研发治理能力之一，主要用于管理常用的任务逻辑，以此降低常用代码的运维成本。在产品功能上，DataLeap任务模板支持丰富的引擎能力，包括LAS/EMR HSQL 、LAS/EMR Java Flink、LAS/EMR Flink SQL、shell任务，满足离线实时任务的不同需求。此外，DataLeap还支持历史版本管理，即保存或更新模板后，记录各个版本更新情况，方便查看代码设置及参数。


(资料图)

在使用层面上，研发人员只需要三步骤即可完成任务模板创建，便捷复用核心数据处理逻辑。

第一步：选中支持的任务类型

· 在模板列表右侧的“+”（更多）按钮中，新建子目录或新建任务模板。

· 在新建任务模板窗口中，输入以下参数，并新建模板。

第二步：代码编写参数设置

· 在任务模板的代码开发编辑界面，通过 DDL 和 DML 编写通用 SQL。

· 表名、字段名分别可以用参数表示，以下以 LAS Flink SQL的逻辑处理，保存为test02模板。

第三步：在任务开发中引用

研发人员可以通过以下2种方式引用test02模板：

· 方法1：在模板列表中，选择模板并点击后即可快速引用。

· 方法2：在代码编辑界面右上角选择任务模板，选择模板后，按需选择是否最新版本的模板，在对参数设置之后，预览代码最终生成效果（如图）。

火山引擎DataLeap任务模板能力可应用于以下场景：

· 场景1：将预先设计好的离线、实时任务模板保存后，即可在多个任务中引用此类型模板，快速实现代码复用。

· 场景2：将shell任务代码制作为前置判断条件，在数据分析前的触发检测运行条件是否满足。

除了任务模板之外，作为大数据研发治理套件，火山引擎DataLeap还可以提供数据集成、开发、运维、治理、资产、安全等能力，帮助用户提升数据研发效率、降低管理成本，加速推动企业的数字化转型。（作者：宋岩）

标签：

相关阅读

精彩推荐

阅读排行

相关词

推荐阅读

关于我们 | 联系我们 | 友情链接 | 网站地图 | 版权声明

Copyright @ 2011-2020 中国观察家网 All Rights Reserved

中国观察家网 版权所有 粤ICP备18023326号-31

联系网站：5531 38779@qq.com