基于Kettle的任务监管方法和装置

基本信息

申请号 CN201811579629.0 申请日 -
公开(公告)号 CN109669820A 公开(公告)日 2019-04-23
申请公布号 CN109669820A 申请公布日 2019-04-23
分类号 G06F11/16(2006.01)I 分类 计算;推算;计数;
发明人 刘军; 施孝鹏; 陈金海 申请(专利权)人 广州君海网络科技有限公司
代理机构 广州市华学知识产权代理有限公司 代理人 广州君海网络科技有限公司
地址 510000 广东省广州市天河区中山大道西238号1816房
法律状态 -

摘要

摘要 本发明公开了一种基于Kettle的任务监管方法和装置,其涉及:至少两个Master节点,通过选举选出一活跃Master节点,令其处于工作状态,其他Master节点处于待命状态,Master节点与各个Slave节点数据通讯;Master节点将接收到的请求执行任务分发到Slave节点,接收Slave节点反馈的任务运行结果,将任务信息、任务运行结果以及自身的状态信息发送到Monitor;若干个Slave节点,用于任务的执行,并定时将自身信息反馈给Master节点;Mon‑itor收集所有Master节点状态,存储Master节点状态、Master节点接收到的任务进度、Slave节点的状态及对应运行任务信息,判断Master节点和Slave节点是否工作异常;Zookeeper集群存储各节点状态和执行任务进度信息。本发明可以确保任务的执行不受Carte集群的影响,可更便捷的操作没有数据时间的增量数据同步。