一种基于大数据计算引擎的ETL作业开发系统和计算机设备

基本信息

申请号 CN202110590257.7 申请日 -
公开(公告)号 CN113204593A 公开(公告)日 2021-08-03
申请公布号 CN113204593A 申请公布日 2021-08-03
分类号 G06F16/25(2019.01)I;G06F16/242(2019.01)I;G06F16/215(2019.01)I;G06F16/182(2019.01)I;G06F8/41(2018.01)I 分类 计算;推算;计数;
发明人 董加强 申请(专利权)人 上海七牛信息技术有限公司
代理机构 上海硕力知识产权代理事务所(普通合伙) 代理人 郭桂峰
地址 201203上海市浦东新区中国(上海)自由贸易试验区博霞路66号1-5层
法律状态 -

摘要

摘要 本申请实施例属于大数据技术领域,涉及一种基于大数据计算引擎的ETL作业开发系统和一种计算机设备,系统包括:配置文件输入及解析子系统,用于输入待进行ETL作业开发的配置文件,然后将所述配置文件进行解析,得到解析结果;渲染及注册子系统,用于对所述解析结果进行渲染和动态编译,然后向大数据计算引擎进行注册;执行子系统,用于调用所述注册后的大数据计算引擎进行ETL作业开发。采用配置式的开发方式和动态解析渲染ETL作业指令,并结合大数据计算引擎形成分布式的大数据处理系统,可以减少重复性劳动、缩短开发流程,并降低了开发和运维的难度。