一种分布式的数据仓库工作流调度方法
基本信息
申请号 | CN202110999193.6 | 申请日 | - |
公开(公告)号 | CN113821320A | 公开(公告)日 | 2021-12-21 |
申请公布号 | CN113821320A | 申请公布日 | 2021-12-21 |
分类号 | G06F9/48(2006.01)I;G06F16/2455(2019.01)I;G06F16/27(2019.01)I;G06F16/28(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 茆汉祥;刘宁 | 申请(专利权)人 | 云智联网络科技(北京)有限公司 |
代理机构 | 成都鱼爪智云知识产权代理有限公司 | 代理人 | 张丽 |
地址 | 100025北京市朝阳区八里庄西里100号1号楼7层西区701号123室 | ||
法律状态 | - |
摘要
摘要 | 本发明属于数据分析领域,涉及数据仓库,具体为一种分布式的数据仓库工作流调度方法,其调度方法包括如下步骤:步骤1.数据开发人员定义业务逻辑及所依赖的配置文件;步骤2.向系统提交git相关设置内容;步骤3.创建任务DAG;步骤4.对步骤3中创建的任务进行任务分发;步骤5.完成对各个任务worker节点的创建分发,本发明进一步规范了抽取数据的流程,进一步地提升了数据库工作的稳定性和准确性,保证了数据的计算的流程,提升了数据仓库处理的准确性,并且在提升了任务处理效率的同时,减小了任务出现问题的概率,进一步提升了整个数据仓库调度的效率。 |
