首页/ 中金数据集团有限公司/ 专利详情

一种分布式计算系统的任务调度方法

基本信息

申请号 CN201210593388.1 申请日 -
公开（公告）号 CN103078941B 公开（公告）日 2016-01-20
申请公布号 CN103078941B 申请公布日 2016-01-20
分类号 H04L29/08(2006.01)I 分类 电通信技术;
发明人 岳洋;钮毅 申请（专利权）人 中金数据集团有限公司
代理机构 北京三聚阳光知识产权代理有限公司 代理人 寇海侠
地址 100176 北京市大兴区北京经济技术开发区博兴八路1号
法律状态 -

摘要

摘要 本发明涉及一种分布式计算系统的任务调度方法及系统，其中所述方法包括如下步骤：①将分布式计算系统集群中节点设置主节点和工作节点；②主节点将输入文件分成多个数据段；③主节点为工作节点分配数据段和任务，主节点从中提取出初始键值对并处理生成中间键值对，存储至公共区域；④主节点判断所有数据段的处理是否完成，若是则执行⑤，若否则执行③；⑤将中间键值对分成多个区并排序；⑥最后完成数据段处理的工作节点对中间键值对进行处理，将最终结果存储到所属区；⑦返回。本发明所述的分布式计算系统的任务调度方法及系统，负责分配任务的主节点仅负责分配任务，最后汇总计算处理结果由工作节点来完成，从而减轻在化简阶段的系统瓶颈问题。