一种基于倒序表的实时日志聚类分析方法

基本信息

申请号 CN201910880347.2 申请日 -
公开(公告)号 CN110688448A 公开(公告)日 2020-01-14
申请公布号 CN110688448A 申请公布日 2020-01-14
分类号 G06F16/31(2019.01); G06F16/35(2019.01); G06F16/36(2019.01) 分类 计算;推算;计数;
发明人 杨辰; 葛晓波; 殷传旺 申请(专利权)人 上海擎创信息技术有限公司
代理机构 北京科亿知识产权代理事务所(普通合伙) 代理人 上海擎创信息技术有限公司
地址 201203 上海市浦东新区申江路5005号星创科技广场2号楼603室
法律状态 -

摘要

摘要 本发明提供一种基于倒序表的实时日志聚类分析方法,具体步骤如下:步骤1:初始化:定义日志中每个词的封装结构;步骤2:原始日志预处理,包括正则化替换、敏感词库提出、分词器分词、词性标注、公有变量提取;步骤3:获取模板,包括日志分组、倒排表打分、获取模板、更新模板展示层内容以及倒排表。本方法具有实时日志聚类功能,提高模板的通用性,能够对日志进行并行处理,提高了分析处理的速度。