分布式实时大数据分析系统
基本信息
| 申请号 | CN201810555906.8 | 申请日 | - |
| 公开（公告）号 | CN108881415B | 公开（公告）日 | 2020-11-17 |
| 申请公布号 | CN108881415B | 申请公布日 | 2020-11-17 |
| 分类号 | H04L29/08 | 分类 | 电通信技术; |
| 发明人 | 郑磊 | 申请（专利权）人 | 广州亿程交通信息有限公司 |
| 代理机构 | 重庆强大凯创专利代理事务所(普通合伙) | 代理人 | 隋金艳 |
| 地址 | 511450 广东省广州市番禺区大龙街清河东路傍西路段番禺汽车客运站九楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及大数据处理系统技术领域，具体为分布式实时大数据分析系统，包括数据输入模块、特征值获取模块、分片模块、节点路由模块、计算节点、数据输出模块，数据输入模块用于从数据源中获取数据，特征值获取模块用于从数据输入模块输入的数据中获取数据的特征值，分片模块用于根据特征值对数据进行分片，计算节点用于对数据进行业务逻辑分析和处理，节点路由模块包括节点状态检测记录子模块和节点匹配子模块，节点状态检测记录子模块用于检测和记录各个计算节点的存活状态。本发明提供的分布式实时大数据分析系统，能够避免了单点故障引起的数据丢失问题、数据处理压力问题。同时分布式架构可以动态负载均衡、横向扩展分析节点。 |
