基于Hadoop的数据处理方法
基本信息
| 申请号 | CN201911253880.2 | 申请日 | - |
| 公开（公告）号 | CN111078635B | 公开（公告）日 | 2021-03-19 |
| 申请公布号 | CN111078635B | 申请公布日 | 2021-03-19 |
| 分类号 | G06F16/182(2019.01)I;G06F16/14(2019.01)I;G06F16/16(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 林森;唐宁;马娜 | 申请（专利权）人 | 天津快友世纪科技有限公司 |
| 代理机构 | 北京万贝专利代理事务所（特殊普通合伙） | 代理人 | 马红 |
| 地址 | 300000天津市滨海新区天津自贸试验区（中心商务区）金昌道637号宝正大厦26层2601 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于Hadoop的数据采集优先级判定及处理方法，该方法利用Hadoop分布式文件系统来处理海量数据，所述的Hadoop分布式文件系统包括用户节点、命名节点、扫描模块和子节点，所述的用户节点包括JAVA虚拟机，所述的JAVA虚拟机包括Hadoop用户端，该Hadoop用户端分别与分布式文件子系统和数据输出流交互；所述命名节点储存调用频率检测信息，调用频率检测信息包括各调用子节点的频率次数，所述命名节点根据所述子节点的频率次数依次将所述子节点进行优先权划分，所述子节点的频率次数越高，优先权越大。 |
