Hadoop多管道数据处理分析方法专利查询专利号|摘要-满商公司网

Hadoop多管道数据处理分析方法

基本信息

申请号	CN201710347164.5	申请日	-
公开（公告）号	CN107193926A	公开（公告）日	2017-09-22
申请公布号	CN107193926A	申请公布日	2017-09-22
分类号	G06F17/30(2006.01)I;G06F9/50(2006.01)I	分类	计算；推算；计数;
发明人	林森;唐宁;马娜	申请（专利权）人	北京快友世纪科技股份有限公司
代理机构	-	代理人	-
地址	100020 北京市朝阳区东三环北路甲2号7幢315室
法律状态	-

摘要

本发明公开了一种Hadoop多管道数据处理分析方法，所述方法包括以下步骤：第一、利用外部设备输入大数据文件；第二、分配事务，MapReduce编程模型中的主程序节点分配子事务，并将子事务通过网络适配器递交给空闲的工作机节点中；第三、生成键/值对，被分配了子事务的工作机节点读取输入的大数据文件，从中解析出键/值对，并调用用户编写的Map函数处理键/值对，并生成中间键/值对；第四、发送消息；第五、调用中间数据，根据位置信息调用磁盘上的中间数据，并对这些中间数据按照key值进行排序，相同的key值进行合并操作；第六、执行Reduce函数，Reduce子事务节点遍历排序后的中间数据，并将数据传递给用户定义的Reduce函数；第七、输出结果。