一种ETL系统的高效流程编排方法和系统
基本信息
申请号 | CN202011068846.0 | 申请日 | - |
公开(公告)号 | CN112115192A | 公开(公告)日 | 2021-07-02 |
申请公布号 | CN112115192A | 申请公布日 | 2021-07-02 |
分类号 | G06F16/25;G06F9/445 | 分类 | 计算;推算;计数; |
发明人 | 张春林;李利军;李春青;常江波;尚雪松 | 申请(专利权)人 | 北京泰策科技有限公司 |
代理机构 | 北京冠和权律师事务所 | 代理人 | 安琪 |
地址 | 100000 北京市大兴区北京经济技术开发区科谷一街10号院2号楼12层1201 | ||
法律状态 | - |
摘要
摘要 | 本发明提出了一种ETL系统的高效流程编排方法和系统,所述方法包括:调取所述ETL系统的操作流程中与ETL任务对应的元数据,根据操作流程的逻辑关系,自动将所述元数据编辑为与所述逻辑关系对应的有向无环图;对所述有向无环图进行批量解析,获得所述有向无环图对应的DAG流程,并对所述DAG流程进行配置;将所述DAG流程发送至计算引擎,通过所述计算引擎对所述DAG流程进行执行。所述系统包括与所述方案的步骤对应的模块。 |
