基于大数据的数据处理方法和装置
基本信息
| 申请号 | CN201610827183.3 | 申请日 | - |
| 公开（公告）号 | CN107818120B | 公开（公告）日 | 2020-05-29 |
| 申请公布号 | CN107818120B | 申请公布日 | 2020-05-29 |
| 分类号 | G06F16/182;G06F16/25;G06F16/28;G06F16/27 | 分类 | 计算；推算；计数; |
| 发明人 | 郑壮杰 | 申请（专利权）人 | 博雅网络游戏开发（深圳）有限公司 |
| 代理机构 | 广州华进联合专利商标代理有限公司 | 代理人 | 方高明 |
| 地址 | 518057 广东省深圳市南山区中山园路1001号TCL产业园国际E城D3栋9B-C | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于大数据的数据处理方法和装置。上述方法包括：实时监控并采集各个数据源的第一数据；将所述第一数据传输至分布式消息系统进行存储；从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；获取与所述第二数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中；通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。上述基于大数据的数据处理方法和装置，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。 |
