大数据作业的状态监测及健康度评估方法、装置

基本信息

申请号 CN202011644280.1 申请日 -
公开(公告)号 CN112579685A 公开(公告)日 2021-03-30
申请公布号 CN112579685A 申请公布日 2021-03-30
分类号 G06F16/25(2019.01)I;G06F11/34(2006.01)I;G06F11/30(2006.01)I 分类 计算;推算;计数;
发明人 温秋荣;沈鹏;王圣玉;张程 申请(专利权)人 上海迈外迪网络科技有限公司
代理机构 北京集佳知识产权代理有限公司 代理人 郎彦泽;叶子浓
地址 201400上海市奉贤区上海市杨浦区控江路1142号23幢5051室
法律状态 -

摘要

摘要 大数据作业的状态监测及健康度评估方法、装置,所述方法包括:预先为各种类型的作业配置监控参数,预先为各种分析项目配置分析参数;在作业运行的过程中,根据所述监控参数,来采集关于该作业的作业运行数据;对所述作业运行数据进行ETL处理,得到关于该作业的待评估数据;根据所述分析参数,来对所述待评估数据进行分析,得到关于被分析的待评估数据所对应的作业的评分。本发明为各大数据作业建立统一的日志规则、日志管理配置、日志格式,进而实现了快速获取作业运行状态、及时发现问题、快速且精准定位异常。