一种日志实时处理方法及系统
基本信息
| 申请号 | CN201910897915.X | 申请日 | - |
| 公开（公告）号 | CN110825598A | 公开（公告）日 | 2020-02-21 |
| 申请公布号 | CN110825598A | 申请公布日 | 2020-02-21 |
| 分类号 | G06F11/34;G06F16/18 | 分类 | 计算；推算；计数; |
| 发明人 | 周滔 | 申请（专利权）人 | 武汉智美互联科技有限公司 |
| 代理机构 | 北京汇信合知识产权代理有限公司 | 代理人 | 王维新 |
| 地址 | 430000 湖北省武汉市东湖新技术开发区光谷大道77号金融后台服务中心基地建设项目二期B17栋11层01室-7 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种日志实时处理方法及系统，包括：接收日志：采用mmap的libpcap捕获日志报文；过滤报文：根据发送日志的设备IP过滤掉非法报文；解析日志：按照预设格式逐个字段解析日志；格式化日志：按照预设字段顺序拼接成标准csv格式的字符串，多线程入无锁队列；生成csv文件：根据硬件适配写csv文件的线程及多队列的数量；采用所适配的多线程多队列，从无锁队列中取出数据写入csv文件中；csv文件入库：动态监测csv文件大小，若csv文件大于预设阈值，则立即入库；对数据库表进行分区并设定索引key值；数据汇聚：按照预设条件对数据库的原始数据进行汇聚。 |
