首页/ 上海蓬景数字营销策划有限公司/ 专利详情

一种基于Hadoop的数据分析方法

基本信息

申请号 CN201510252955.0 申请日 -
公开（公告）号 CN104834557A 公开（公告）日 2015-08-12
申请公布号 CN104834557A 申请公布日 2015-08-12
分类号 G06F9/46(2006.01)I;G06F17/30(2006.01)I 分类 计算；推算；计数;
发明人 高爽 申请（专利权）人 上海蓬景数字营销策划有限公司
代理机构 北京天奇智新知识产权代理有限公司 代理人 成都博元科技有限公司;上海蓬景数字营销策划有限公司
地址 610000 四川省成都市高新技术开发区府城大道西段399号7幢3-1208
法律状态 -

摘要

摘要 本发明提供了一种基于Hadoop的数据分析方法，用于通过基于云计算的数据分析处理系统进行数据分析，所述数据分析处理系统基于Hadoop平台作为计算环境，该数据分析处理系统由数据存储模块、数据分析模块和事务处理模块构成，使用Hadoop中的MapReduce插件作为开发工具，所述MapReduce对数据的操作包括Map操作和Reduce操作，所述Map操作是对输入的键值对进行指定的操作，生成一组中间键值对，所述Reduce操作对Map操作输出的中间键值对进行规约合并。本发明的方法在基于云计算的数据分析处理中，能够提高数据分析处理的执行效率，特别是在大数据集的情况下效果尤为明显。