首页/ 广州时代数据服务有限公司/ 专利详情

基于Hadoop的任务管理方法和系统

基本信息

申请号 CN201410614126.8 申请日 -
公开（公告）号 CN104461502A 公开（公告）日 2015-03-25
申请公布号 CN104461502A 申请公布日 2015-03-25
分类号 G06F9/44(2006.01)I 分类 计算；推算；计数;
发明人 王海山;李天旺 申请（专利权）人 广州时代数据服务有限公司
代理机构 广州华进联合专利商标代理有限公司 代理人 王茹
地址 510000 广东省广州市荔湾区芳村大道东200号50-1之1
法律状态 -

摘要

摘要 本发明涉及一种基于Hadoop的任务管理方法及系统，所述方法包括步骤：获取用户配置的任务依赖关系，加载当前任务，并根据任务依赖关系确定当前任务的上级任务以及下级任务；从任务状态管理器中查询上级任务的执行结果，若所有的上级任务执行成功，则触发执行当前任务；监测当前任务的执行结果，如果当前任务执行成功，则将执行结果发送给任务状态管理器并触发加载下级任务。本发明避免了任务独立执行并导致任务并发执行的情况，使得任务能够统一管理。在当前任务执行成功时，就加载下级任务，所述下级任务在其上级任务执行成功的情况下就可以立即触发执行，能够节约全部任务执行完毕所需耗费的运行时间，从而提高Hadoop的执行效率。