日志数据的处理方法、装置、系统以及介质
基本信息
申请号 | CN202111537067.5 | 申请日 | - |
公开(公告)号 | CN114168672A | 公开(公告)日 | 2022-03-11 |
申请公布号 | CN114168672A | 申请公布日 | 2022-03-11 |
分类号 | G06F16/25(2019.01)I;G06F16/28(2019.01)I;G06F16/248(2019.01)I;G06F40/174(2020.01)I;G06Q10/06(2012.01)I;G06Q40/08(2012.01)I | 分类 | 计算;推算;计数; |
发明人 | 周凯;李巍;张荣兵;李康;王健;石林;周政卓;陶华君 | 申请(专利权)人 | 明觉科技(北京)有限公司 |
代理机构 | 北京奉思知识产权代理有限公司 | 代理人 | 邹轶鲛;石红艳 |
地址 | 100124北京市朝阳区高碑店乡半壁店村惠河南街1008号B座5层5009 | ||
法律状态 | - |
摘要
摘要 | 本发明提供了一种日志数据的处理方法、装置、系统以及介质。所述方法包括:获取步骤,获取车辆保险的日志数据;预处理步骤,基于服务类型,利用Flink引擎对获取的日志数据进行预处理,以生成具有预定格式的半结构化日志数据;结构化处理步骤,根据日志数据的类型,对半结构化日志数据进行结构化处理,以将半结构化日志数据转换为适于数据统计分析的结构化日志数据;以及加载步骤,将结构化日志数据加载到数据库中。本发明的上述方法能够针对车辆保险的日志数据能够进行有效地解析及存储,从而能够支持多维度且深层次的报表生成、数据分析等数据统计业务。 |
