一种日志实时分析方法及系统

基本信息

申请号 CN201610460349.2 申请日 -
公开(公告)号 CN106055703B 公开(公告)日 2020-01-14
申请公布号 CN106055703B 申请公布日 2020-01-14
分类号 G06F16/18(2019.01); G06F16/21(2019.01) 分类 计算;推算;计数;
发明人 魏玮 申请(专利权)人 北京科摩仕捷科技有限公司
代理机构 北京市盛峰律师事务所 代理人 北京科摩仕捷科技有限公司
地址 100080 北京市海淀区丹棱街3号B座11层1115、1116
法律状态 -

摘要

摘要 本发明公开了一种日志实时分析方法及系统,涉及数据处理领域。所述方法:日志解析客户端判断当前工作节点为已注册节点,获取当前工作节点需要分析的日志目录;判断所述日志目录下存在更新的日志文件,启动线程池并发更新日志文件的解析,按照系统标示进行数据垂直拆分后存储到不同的数据表中,最后将所述数据表存储到日志数据库中。所述系统包括:日志记录模块和日志分析模块。本发明在不影响实时监控功能的前提下,降低日志存储量;从系统方法的执行,到能从界面反映出执行结果的变化,中间的耗时要小于1分钟;监控系统可水平扩展,只要简单的部署就可以完成性能扩展。