一种日志采集的脏数据快速检测及处理方法专利查询专利号|摘要-满商公司网

一种日志采集的脏数据快速检测及处理方法

基本信息

申请号	CN202210014101.9	申请日	-
公开（公告）号	CN114356908A	公开（公告）日	2022-04-15
申请公布号	CN114356908A	申请公布日	2022-04-15
分类号	G06F16/215（2019.01）I;G06F16/2458（2019.01）I;G06F16/28（2019.01）I;G06F16/22（2019.01）I;G06F9/54（2006.01）I	分类	计算；推算；计数;
发明人	黄诗贤;唐敏;张章学;蓝友枢;叶松	申请（专利权）人	福建省海峡信息技术有限公司
代理机构	福州元创专利商标代理有限公司	代理人	陈明鑫;蔡学俊
地址	350003福建省福州市鼓楼区北二环中路61号2号楼
法律状态	-

摘要

本发明涉及一种日志采集的脏数据快速检测及处理方法。包括：S1、采集各种不同网络设备类型的日志，汇聚到消息中间件；S2、依据解析库中解析规则对消息中间件中日志进行解析规则匹配，匹配成功的提取字段，并执行步骤S3；匹配不成功的认为是脏数据，并执行步骤S5；S3、依据字段分类库中的字段分类规则对提取的字段进行分类；S4、对分类完的字段，依据其对应的分类值，通过广度优先遍历，找到这个分类值的概率，同理找到相应日志下所有字段的分类值的概率，依次对各个字段的分类值的概率进行判断，只要其中一个字段的分类值的概率大于设置的阈值，就判定为脏数据；S5、将脏数据存放到脏数据库中，维护人员根据脏数据库中脏数据对规则进行重新调整。