首页/ 天津快友世纪科技有限公司/ 专利详情

基于Hadoop的数据采集优先级判定及处理方法

基本信息

申请号 CN201911253880.2 申请日 -
公开（公告）号 CN111078635A 公开（公告）日 2020-04-28
申请公布号 CN111078635A 申请公布日 2020-04-28
分类号 G06F16/14;G06F16/16;G06F16/182 分类 计算；推算；计数;
发明人 林森;唐宁;马娜 申请（专利权）人 天津快友世纪科技有限公司
代理机构 - 代理人 -
地址 100025 北京市朝阳区阜通东大街1号院5号楼2单元324502室
法律状态 -

摘要

摘要 本发明公开了一种基于Hadoop的数据采集优先级判定及处理方法，该方法利用Hadoop分布式文件系统来处理海量数据，所述的Hadoop分布式文件系统包括用户节点、命名节点、扫描模块和子节点，所述的用户节点包括JAVA虚拟机，所述的JAVA虚拟机包括Hadoop用户端，该Hadoop用户端分别与分布式文件子系统和数据输出流交互；所述命名节点储存调用频率检测信息，调用频率检测信息包括各调用子节点的频率次数，所述命名节点根据所述子节点的频率次数依次将所述子节点进行优先权划分，所述子节点的频率次数越高，优先权越大。