互联网金融海量日志的分析系统及方法
基本信息
| 申请号 | CN201710373303.1 | 申请日 | - |
| 公开（公告）号 | CN107357804A | 公开（公告）日 | 2017-11-17 |
| 申请公布号 | CN107357804A | 申请公布日 | 2017-11-17 |
| 分类号 | G06F17/30(2006.01)I;G06Q40/02(2012.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 冯普超 | 申请（专利权）人 | 上海五行嘉信息技术有限公司 |
| 代理机构 | 北京德恒律治知识产权代理有限公司 | 代理人 | 章社杲;卢军峰 |
| 地址 | 200941 上海市宝山区德都路月浦六村88号B380室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种互联网金融海量日志的分析系统及分析方法，该分析系统包括顺序连接的采集模块、传输模块、以及处理模块；其中，采集模块利用flume实时收集业务日志；传输模块利用kafka技术对业务日志进行传输，处理模块接收业务日志并利用storm对业务日志进行实时计算和分析以得到监控数据。通过flume来实时收集业务日志，实现了对海量日志的实时收集；还通过kafka传输业务日志，保证了在出现高并发时不会出现性能瓶颈；并通过storm的水平拓展能力，能够处理海量数据，且实时性高。 |
