基于Kettle的任务监管方法和装置
基本信息
申请号 | CN201811579629.0 | 申请日 | - |
公开(公告)号 | CN109669820A | 公开(公告)日 | 2019-04-23 |
申请公布号 | CN109669820A | 申请公布日 | 2019-04-23 |
分类号 | G06F11/16(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 刘军; 施孝鹏; 陈金海 | 申请(专利权)人 | 广州君海网络科技有限公司 |
代理机构 | 广州市华学知识产权代理有限公司 | 代理人 | 广州君海网络科技有限公司 |
地址 | 510000 广东省广州市天河区中山大道西238号1816房 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于Kettle的任务监管方法和装置,其涉及:至少两个Master节点,通过选举选出一活跃Master节点,令其处于工作状态,其他Master节点处于待命状态,Master节点与各个Slave节点数据通讯;Master节点将接收到的请求执行任务分发到Slave节点,接收Slave节点反馈的任务运行结果,将任务信息、任务运行结果以及自身的状态信息发送到Monitor;若干个Slave节点,用于任务的执行,并定时将自身信息反馈给Master节点;Mon‑itor收集所有Master节点状态,存储Master节点状态、Master节点接收到的任务进度、Slave节点的状态及对应运行任务信息,判断Master节点和Slave节点是否工作异常;Zookeeper集群存储各节点状态和执行任务进度信息。本发明可以确保任务的执行不受Carte集群的影响,可更便捷的操作没有数据时间的增量数据同步。 |
