大规模集群作业异常检测方法
基本信息
| 申请号 | CN202111410717.X | 申请日 | - |
| 公开（公告）号 | CN114116392A | 公开（公告）日 | 2022-03-01 |
| 申请公布号 | CN114116392A | 申请公布日 | 2022-03-01 |
| 分类号 | G06F11/30（2006.01）I;G06K9/62（2022.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 薛巍;杨斌;邵明山;矫志宏 | 申请（专利权）人 | 无锡恒鼎超级计算中心有限公司 |
| 代理机构 | 无锡知之火专利代理事务所（特殊普通合伙） | 代理人 | 朱爱进 |
| 地址 | 214000江苏省无锡市滨湖区吟白路1号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供的一种大规模集群的作业异常检测方法，涉及异常检测方法，包括从数据资料库中联合获取作业性能数据；对获取的作业性能数据进行筛选，获得作业I/O的性能数据；对获得的作业I/O的性能数据进行二次筛选，分成若干独立的I/O阶段，获得I/O阶段数据；获取I/O阶段的总吞吐量、持续时间、带宽峰值、带宽众数作为该I/O阶段的特征数据；将I/O阶段的特征数据与历史I/O阶段特征数据进行聚类，判断I/O阶段的特征数据是否异常。本发明通过将将I/O阶段的特征数据与历史I/O阶段特征数据进行聚类，及时发现I/O的性能异常，方便根据判断出的异常类型及时的进行处置解决，以实时对I/O性能进行优化，提升系统资源利用率，提高I/O性能。 |
