一种基于大数据运营分析的数据处理方法

基本信息

申请号 CN201911088259.5 申请日 -
公开(公告)号 CN110825789A 公开(公告)日 2020-02-21
申请公布号 CN110825789A 申请公布日 2020-02-21
分类号 G06F16/2458;G06F16/22;G06F16/953;G06F11/14 分类 计算;推算;计数;
发明人 杨杰;李尚祥 申请(专利权)人 浙江天空信息科技有限公司
代理机构 - 代理人 -
地址 325000 浙江省温州市瓯海经济开发区东方南路50号温州市国家大学科技园孵化器1号楼2楼222-8
法律状态 -

摘要

摘要 本发明涉及数据处理技术领域,尤其是一种基于大数据运营分析的数据处理系统,包括数据采集模块,所述数据采集模块对数据进行挖掘,将静态数据以及动态数据进行收集,数据采集模块将收集到的数据信息传递至数据存储模块中进行储存以及备份,数据存储模块与数据预处理模块进行信号连接,在通过数据预处理模块对数据进行处理后,将处理后的数据传递至数据发布模块中,所述数据预处理模块包括处理器模块,通过处理器模块分别设置有Mapreduce框架模块、Map函数模块以及reduce函数模块。本发明构建Mapreduce编程模型,从而能够将收集的海量的静态数据以及动态数据进行处理,实现处理过程的稳定性。