一种快速在线日志聚类的方法及设备
基本信息
申请号 | CN202110706311.X | 申请日 | - |
公开(公告)号 | CN113407656A | 公开(公告)日 | 2021-09-17 |
申请公布号 | CN113407656A | 申请公布日 | 2021-09-17 |
分类号 | G06F16/31(2019.01)I;G06F16/33(2019.01)I;G06F16/35(2019.01)I;G06F40/279(2020.01)I | 分类 | 计算;推算;计数; |
发明人 | 王洪涛 | 申请(专利权)人 | 上海上讯信息技术股份有限公司 |
代理机构 | 上海百一领御专利代理事务所(普通合伙) | 代理人 | 王奎宇;杨颜颜 |
地址 | 201203上海市浦东新区张江高科技园区郭守敬路498号8幢20300室 | ||
法律状态 | - |
摘要
摘要 | 本申请的目的是提供一种快速在线日志聚类的方法及设备,本申请通过获取待分析设备的当前日志数据;构建日志数据的变量识别规则库和分隔符识别规则库;使用所述变量识别规则库对所述当前日志数据进行变量分词处理。得到第一分词结果,并使用所述分隔符识别规则库对所述第一分词结果进行再次分词处理,得到目标切分日志数据,其中,每一条目标切分日志数据包含多个成分单词;基于成分单词的最大距离窗对所述目标切分日志数据进行快速聚类。解决现有技术中在常规的硬件资源条件下,难以实现高速、实时的日志聚类的问题,以满足海量数据的日志运维需求,加快日志分析数据。 |
