一种分布式计算作业日志数据处理方法和系统
基本信息
| 申请号 | CN202210120296.5 | 申请日 | - |
| 公开（公告）号 | CN114153823A | 公开（公告）日 | 2022-03-08 |
| 申请公布号 | CN114153823A | 申请公布日 | 2022-03-08 |
| 分类号 | G06F16/21（2019.01）I;G06F16/22（2019.01）I;G06F16/2453（2019.01）I;G06F9/54（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 朱辉;张涛;薛延波;赵鹏 | 申请（专利权）人 | 北京华品博睿网络技术有限公司 |
| 代理机构 | 北京君泊知识产权代理有限公司 | 代理人 | 周倩 |
| 地址 | 100028北京市朝阳区太阳宫中路16号院1号楼18层1801内09 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种分布式计算作业日志数据处理方法和系统。该方法包括：日志标记，针对分布式计算引擎的各个计算节点，将不同计算作业应用实时产生的日志根据唯一标识进行标记；汇聚入库，将标记后的计算作业应用日志和系统日志采用消息队列采集，并根据日志标识进行日志拆分，按照一个计算作业应用对应一份日志的粒度进行实时分流，并将分流后的日志利用搜索引擎进行索引数据入库，构建计算作业应用日志的日志搜索数据库。本发明的有益效果为：通过针对实时计算作业产生的日志进行标识，区分不同的计算作业，利用高可用的日志采集方式，进行实时计算引擎的日志汇聚，并利用搜索引擎进行索引数据入库，用于日常日志搜索，提高了日志查询效率。 |
