一种基于DAG模型的数据ETL系统及使用方法专利查询专利号|摘要-满商公司网

一种基于DAG模型的数据ETL系统及使用方法

基本信息

申请号	CN202111106395.X	申请日	-
公开（公告）号	CN113934782A	公开（公告）日	2022-01-14
申请公布号	CN113934782A	申请公布日	2022-01-14
分类号	G06F16/25（2019.01）I;G06F16/28（2019.01）I	分类	计算；推算；计数;
发明人	陈坤龙;吴梁斌;许晓琨;詹进林	申请（专利权）人	易联众智鼎（厦门）科技有限公司
代理机构	厦门加减专利代理事务所（普通合伙）	代理人	李强;杨泽奇
地址	361008福建省厦门市软件园二期观日路18号604室
法律状态	-

摘要

本发明涉及数据管理技术领域，特别涉及一种基于DAG模型的数据ETL系统及使用方法，其中系统包括主节点服务、若干个工作节点服务、接口服务和Zookeeper服务；接口服务用于将节点元数据保存到数据库中；主节点服务用于查询数据库中的任务信息，将要执行的任务生成任务队列信息，并将任务队列信息保存到Zookeeper服务；工作节点服务用于通过读取Zookeeper服务的任务队列信息，去顺序执行任务，并在运行完后将任务状态保存到数据库。该系统包括主节点服务、若干工作节点服务、接口服务和Zookeeper服务，解决了传统的SQL语句对数据的处理不能实现可视化的效果，不能查看数据的血缘关系的问题，实现实时监控任务运行状态、支持多租户、支持多种任务类型，并且易于使用的效果。