影响大数据系统性能的关键参数查找方法及装置

基本信息

申请号 CN201810289920.8 申请日 -
公开(公告)号 CN108376180B 公开(公告)日 2018-08-07
申请公布号 CN108376180B 申请公布日 2018-08-07
分类号 G06F16/28(2019.01)I 分类 -
发明人 王宏志;赵志强 申请(专利权)人 哈尔滨工创智能科技有限公司
代理机构 北京格允知识产权代理有限公司 代理人 哈工大大数据(哈尔滨)智能科技有限公司
地址 150001黑龙江省哈尔滨市松北区高新技术产业开发区哈工大沿海创意科技港及物联网技术研发中心9号楼(创新路1616号)714-2室
法律状态 -

摘要

摘要 本发明涉及一种基于聚类分析的影响大数据系统性能的关键参数查找方法及装置,其中方法包括:将大数据系统定义为由参数(w,p,t)组成的结构,其中w为应用层的负载程序向量,p为平台层的配置参数向量,t为程序运行所需时间;提取历史工作数据,根据应用层的负载进行分类,将负载程序向量w相同的数据样本分成一类;在每类负载相同的数据样本中,按照程序运行所需时间t从大到小进行排序,得到配置参数向量p的排序,对比t值最大的n个参数向量和最小的n个参数向量,找出参数向量组中维度差别最大的前q%的参数。本发明采用聚类分析的方法对大数据计算系统中的参数进行排序,避免了人工寻找影响参数的难题,不仅节省了人工查找参数的时间,而且方法简单快捷。