日志数据采集系统及方法专利查询专利号|摘要-满商公司网

日志数据采集系统及方法

基本信息

申请号	CN201910022404.3	申请日	-
公开（公告）号	CN109525448A	公开（公告）日	2019-03-26
申请公布号	CN109525448A	申请公布日	2019-03-26
分类号	H04L12/24（2006.01）I; H04L12/26（2006.01）I	分类	电通信技术;
发明人	任彧雄	申请（专利权）人	北京智信未来信息技术有限公司
代理机构	北京市鼎立东审知识产权代理有限公司	代理人	陈佳妹
地址	100086 北京市海淀区知春路23号11层1108室
法律状态	-

摘要

本发明公开了一种日志数据采集系统，包括flume采集层模块，用于采集指定服务的日志数据，针对每一条采集数据流生成对应的配置文件，将所述配置文件写入flume通信头信息进行传输；flume汇聚层模块，接收所述flume采集层模块传输的日志数据，根据所述flume通信头信息确定对应的日志数据的传输方式和传输路径；Kafka消息队列层模块，用于根据所述传输方式缓存所述flume汇聚层模块传输的日志数据；数据消费者层模块，用于针对每一个配置文件对应的日志数据启动一个数据消费者，并根据所述传输路径存储至目标介质。同时，本发明还公开一种日志数据采集方法。本方案实现日志数据采集与流式传输的标准化，极大地降低操作和管理成本。