大数据作业的状态监测及健康度评估方法、装置
基本信息
申请号 | CN202011644280.1 | 申请日 | - |
公开(公告)号 | CN112579685A | 公开(公告)日 | 2021-03-30 |
申请公布号 | CN112579685A | 申请公布日 | 2021-03-30 |
分类号 | G06F16/25(2019.01)I;G06F11/34(2006.01)I;G06F11/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 温秋荣;沈鹏;王圣玉;张程 | 申请(专利权)人 | 上海迈外迪网络科技有限公司 |
代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 郎彦泽;叶子浓 |
地址 | 201400上海市奉贤区上海市杨浦区控江路1142号23幢5051室 | ||
法律状态 | - |
摘要
摘要 | 大数据作业的状态监测及健康度评估方法、装置,所述方法包括:预先为各种类型的作业配置监控参数,预先为各种分析项目配置分析参数;在作业运行的过程中,根据所述监控参数,来采集关于该作业的作业运行数据;对所述作业运行数据进行ETL处理,得到关于该作业的待评估数据;根据所述分析参数,来对所述待评估数据进行分析,得到关于被分析的待评估数据所对应的作业的评分。本发明为各大数据作业建立统一的日志规则、日志管理配置、日志格式,进而实现了快速获取作业运行状态、及时发现问题、快速且精准定位异常。 |
