一种基于统计分析的Spark拖延任务诊断方法
基本信息
| 申请号 | CN201811113777.3 | 申请日 | - |
| 公开（公告）号 | CN109240890A | 公开（公告）日 | 2019-01-18 |
| 申请公布号 | CN109240890A | 申请公布日 | 2019-01-18 |
| 分类号 | G06F11/30;G06F11/34 | 分类 | 计算；推算；计数; |
| 发明人 | 刘延新;李亚琼;吴昊;李守超 | 申请（专利权）人 | 江苏润和软件股份有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 210041 江苏省南京市雨花台区铁心桥工业园 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 发明涉及一种基于统计分析的Spark拖延任务诊断方法，监测数据中心并行执行任务，从监测数据中推断出任务执行拖延的原因。在相同阶段，监测相同任务在不同节点的执行情况，搜集物理服务器的监测数据，分析Spark日志文件得到任务执行的监测数据。比较任务执行时间以检测拖延任务，分析拖延任务与正常执行任务的特征值的偏离程度以定位异常特征，从而诊断任务拖延的原因。 |
