Hadoop多管道数据处理分析方法专利查询专利号|摘要-满商公司网

Hadoop多管道数据处理分析方法

基本信息

申请号	CN201811174507.3	申请日	-
公开（公告）号	CN109299057A	公开（公告）日	2019-02-01
申请公布号	CN109299057A	申请公布日	2019-02-01
分类号	G06F16/182;G06F16/18;G06F16/16	分类	计算；推算；计数;
发明人	林森;唐宁;马娜	申请（专利权）人	北京快友世纪科技股份有限公司
代理机构	-	代理人	-
地址	100020 北京市朝阳区东三环北路甲2号7幢315室
法律状态	-

摘要

本发明公开了一种Hadoop多管道数据处理分析方法，该方法利用Hadoop分布式文件系统来处理海量数据，系统包括用户节点、命名节点、块扫描模块和云端节点，用户节点包括JAVA虚拟机，JAVA虚拟机包括Hadoop用户端；云端节点包括数据节点；Hadoop用户端向命名节点发送具有参数的打开命令；命名节点使用定位块数据结构响应Hadoop用户端；Hadoop用户端通过为每个请求的块发送包含所请求块的块ID，从所识别的数据节点直接请求文件的块；接收请求的数据节点使用所请求块的块ID来访问它正在存储的相应块之一，并用所访问块的数据响应Hadoop用户端；Hadoop用户端向命名节点指示想要将数据块附加到现有文件；命名节点接收Hadoop用户端发送的附加命令。