一种基于正负反馈负载调度算法的Hadoop集群任务调度方法

基本信息

申请号 CN202111192598.5 申请日 -
公开(公告)号 CN113934525A 公开(公告)日 2022-01-14
申请公布号 CN113934525A 申请公布日 2022-01-14
分类号 G06F9/48(2006.01)I;G06F9/50(2006.01)I;G06F16/182(2019.01)I 分类 计算;推算;计数;
发明人 岳正飞;郭强;杨融 申请(专利权)人 正数网络技术有限公司
代理机构 郑州意创知识产权代理事务所(特殊普通合伙) 代理人 张江森;侯喜立
地址 450000河南省郑州市郑东新区金水东路39号中国河南出版产业园D座6-7楼
法律状态 -

摘要

摘要 本发明公开了一种基于正负反馈负载调度算法的Hadoop集群任务调度方法,应用于Hadoop的资源调配中心,集群任务调度方法包括:空闲计算节点向管理节点申请执行任务请求;管理节点接收任务请求,并查询是否有运行该任务请求的历史记录;历史记录对比分析,若与该任务配置符合资源需求,则该任务在此计算节点中计算,否则,该计算节点重新匹配新任务请求;能够在集群任务调度中根据不同服务器的资源使用情况及服务器性能差异性动态分配计算任务,实现计算任务的高效完成并提高CPU及资源使用效率。