一种基于大数据运营分析的数据处理方法
基本信息
| 申请号 | CN201711053343.4 | 申请日 | - |
| 公开（公告）号 | CN107908690B | 公开（公告）日 | 2021-07-20 |
| 申请公布号 | CN107908690B | 申请公布日 | 2021-07-20 |
| 分类号 | G06F16/14;G06F16/18;G06F16/182;G06F16/172;G06F16/16;G06F16/13;G06F9/54 | 分类 | 计算；推算；计数; |
| 发明人 | 石光捷;付飞龙;方勇;刘东升;项炤赟 | 申请（专利权）人 | 南京欣网互联网络科技有限公司 |
| 代理机构 | 南京源古知识产权代理事务所（普通合伙） | 代理人 | 马晓辉 |
| 地址 | 210000 江苏省南京市鼓楼区南昌路40号长江科技园一期大楼7层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于大数据运营分析的数据处理方法包括：步骤一采集源数据信息：通过规则引擎读取数据信息，启动Flume系统进行数据采集；步骤二数据分类；步骤三：清洗数据：利用Flume的各个Agent根据规则引擎中的清洗规则进行数据清洗；步骤四对清洗后的数据分类：为实时计算数据还是非实时计算数据；步骤五在上述步骤三中的HDFS目录根据预将HDFS目录中的日志内容发送到离线数据处理系统中分析HDFS目录中的数据并把最终处理结果保存到结果集中；步骤六：根据预设的业务要求实时分析Kafka相应Topic的数据，实时分析消费Kafka中相应Topic的数据，处理结果存放到结果集中。本方法充分利用Flume系统的本身优势并结合Kafka、HDFS等工具，实现对运营平台的数据分析配置。 |
