分布式任务的处理方法、装置和计算机设备
基本信息
| 申请号 | CN202010103085.1 | 申请日 | - |
| 公开（公告）号 | CN113282649A | 公开（公告）日 | 2021-08-20 |
| 申请公布号 | CN113282649A | 申请公布日 | 2021-08-20 |
| 分类号 | G06F16/25（2019.01）I;G06F16/22（2019.01）I;G06F16/28（2019.01）I;G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F9/54（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 薛星海 | 申请（专利权）人 | 北京国双科技有限公司 |
| 代理机构 | 北京华夏泰和知识产权代理有限公司 | 代理人 | 王卫忠;李雪 |
| 地址 | 100083北京市海淀区北四环中路229号海泰大厦4层南401号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请涉及一种分布式任务的处理方法、装置和计算机设备，其中方法包括：创建管理节点和任务执行节点，其中，所述管理节点用于创建数据处理任务，所述任务执行节点用于执行所述数据处理任务，所述数据处理任务用于将数据经过抽取、清洗转换之后加载到数据仓库；在所述管理节点创建所述数据处理任务后，通过分布式应用程序协调服务Zookeeper分配所述数据处理任务给处于空闲状态的所述任务执行节点。本申请通过Zookeeper来调度多个管理节点和多个任务执行节点共同协调运作，实现集群的高度可用和分布式任务执行和资源调度管理，极大的提高的ETL系统的任务运行性能，并支持故障转移，拥有很高的扩展性和易管理性。 |
