一种Hadoop平台计算节点负载预测方法专利查询专利号|摘要-满商公司网

一种Hadoop平台计算节点负载预测方法

基本信息

申请号	CN201910510953.5	申请日	-
公开（公告）号	CN110149237B	公开（公告）日	2021-06-22
申请公布号	CN110149237B	申请公布日	2021-06-22
分类号	H04L12/24;H04L29/08	分类	电通信技术;
发明人	张斌;李薇;郭军;刘晨;侯帅;周杜凯;柳波;刘文凤;王嘉怡;王馨悦;张娅杰;张瀚铎	申请（专利权）人	沈阳麟龙科技股份有限公司
代理机构	沈阳东大知识产权代理有限公司	代理人	刘晓岚
地址	110819 辽宁省沈阳市和平区文化路3号巷11号
法律状态	-

摘要

本发明提出一种Hadoop平台计算节点负载预测方法，包括：基于滑动窗口二次检测算法的数据预处理方法；基于ARIMA算法的节点负载线性预测方法；基于RNN算法的节点负载非线性残差预测方法；将ARIMA算法与RNN算法预测出来的结果进行线性相加作为最终的预测结果；本发明通过对各个结算节点历史数据的分析，可以提取有价值的信息，进而合理预测下一时间段内的计算节点的负载，精确预测计算节点的负载可以为资源管理器合理地给AppMaster分配资源提供依据，进而缓解高负载节点的压力，提升低负载节点的计算资源利用率，提高Hadoop集群的可靠性和性能。本发明通过ARIMA和RNN模型组合，更加精确的对负载进行预测。