一种海量日志数据的高效低成本处理方法
基本信息
| 申请号 | CN201711478101.X | 申请日 | - |
| 公开（公告）号 | CN108228797A | 公开（公告）日 | 2018-06-29 |
| 申请公布号 | CN108228797A | 申请公布日 | 2018-06-29 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 冯谧 | 申请（专利权）人 | 上海全成通信技术有限公司 |
| 代理机构 | 上海科盛知识产权代理有限公司 | 代理人 | 应小波 |
| 地址 | 200050 上海市长宁区安化路492号A座(1幢)7楼732-2室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种海量日志数据的高效低成本处理方法，包括：并行处理临时表初始化，删除临时数据；并行导入日志文件数据到临时表；并行计算临时表数据，执行数据清洗，合并各路数据，生成最终的日志表数据；根据最终的日志表数据并行计算，获得日志统计分析报表。与现有技术相比，本发明通过并行处理方式，有效的解决了海量日志数据的处理时间问题，同时避免了采用Hadoop、Hive对技术要求，开发维护成本高的问题，为中小型公司降低开发成本提供了解决方案。 |
