首页/ 宁波江宸智能装备股份有限公司/ 专利详情

面向异构MapReduce集群的低时延Map和Reduce联合调度方法

基本信息

申请号 CN202110020740.1 申请日 -
公开（公告）号 CN113162965A 公开（公告）日 2021-07-23
申请公布号 CN113162965A 申请公布日 2021-07-23
分类号 H04L29/08（2006.01）I 分类 电通信技术;
发明人 王玮;陈雨贺;朱立洲;张朝阳 申请（专利权）人 宁波江宸智能装备股份有限公司
代理机构 杭州求是专利事务所有限公司 代理人 林松海
地址 310058浙江省杭州市西湖区余杭塘路866号
法律状态 -

摘要

摘要 本发明公开了一种面向异构MapReduce集群的低时延Map和Reduce联合调度方法，步骤为：客户端提交MapReduce作业到异构集群，控制中心将作业分给各服务器并完成分布式计算以使得作业执行总时延最小。其中，MapReduce框架在Map阶段和Reduce阶段均存在计算任务分配，按照所有服务器能同时完成计算的原则，分别固定其中一处的任务分配来优化另一处，对两个任务分配向量进行迭代求解直至所有服务器的执行时延均相等，得到两个阶段最优的计算任务分配策略，且作业完成的总时延最小。本发明可以用于异构集群下MapReduce分布式计算中，以获得低时延的有益效果。