一种ETL系统的高效流程编排方法和系统

基本信息

申请号 CN202011068846.0 申请日 -
公开(公告)号 CN112115192B 公开(公告)日 2021-07-02
申请公布号 CN112115192B 申请公布日 2021-07-02
分类号 G06F16/25;G06F9/445 分类 计算;推算;计数;
发明人 张春林;李利军;李春青;常江波;尚雪松 申请(专利权)人 北京泰策科技有限公司
代理机构 北京冠和权律师事务所 代理人 安琪
地址 100000 北京市大兴区北京经济技术开发区科谷一街10号院2号楼12层1201
法律状态 -

摘要

摘要 本发明提出了一种ETL系统的高效流程编排方法和系统,所述方法包括:调取所述ETL系统的操作流程中与ETL任务对应的元数据,根据操作流程的逻辑关系,自动将所述元数据编辑为与所述逻辑关系对应的有向无环图;对所述有向无环图进行批量解析,获得所述有向无环图对应的DAG流程,并对所述DAG流程进行配置;将所述DAG流程发送至计算引擎,通过所述计算引擎对所述DAG流程进行执行。所述系统包括与所述方案的步骤对应的模块。