基于系统负载的MPP集群任务调度方法

基本信息

申请号 CN201510740736.7 申请日 -
公开(公告)号 CN105302638B 公开(公告)日 2018-11-20
申请公布号 CN105302638B 申请公布日 2018-11-20
分类号 G06F9/48 分类 计算;推算;计数;
发明人 王洋;李晓鹏;陈训逊;黄亮;吴震;蒋旭;谭炜波;王洋洋;赵雪静 申请(专利权)人 天津神舟通用数据技术有限公司
代理机构 天津盛理知识产权代理有限公司 代理人 王利文
地址 100029 北京市朝阳区裕民路甲3号
法律状态 -

摘要

摘要 本发明涉及一种基于系统负载的MPP集群任务调度方法,其技术特点是包括设置在MPP集群主控节点上的多功能任务调度器和设置在各个节点上的系统负载计算模块,并按以下步骤实现:各个节点上的系统负载计算模块实时监控节点的负载变化并反馈至MPP集群主控节点上;MPP集群主控节点上的多功能任务调度器根据任务的分布信息以及对应节点的负载情况完成任务的排队和调度。本发明在MPP集群主控节点上设置多功能任务调度器并实时收集集群内所有计算节点的系统负载信息,MPP集群主控节点依据任务的分布信息以及对应节点的负载情况,完成对任务的排队和调度,通过对系统负载的实时监控,实现动态并发控制,可以有效提高资源的利用率,使系统达到最佳吞吐性能。