一种基于Hadoop的网络数据挖掘与分析平台及其方法
基本信息
| 申请号 | CN201710141476.0 | 申请日 | - |
| 公开（公告）号 | CN106934014B | 公开（公告）日 | 2021-03-19 |
| 申请公布号 | CN106934014B | 申请公布日 | 2021-03-19 |
| 分类号 | G06F16/182(2019.01)I;G06F16/27(2019.01)I;G06F16/25(2019.01)I;G06F16/958(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 朱世伟;赵燕清;阎淮海;鞠镁隆;于俊凤;魏墨济;李晨;李思思;徐蓓蓓;李宪毅;王爱萍 | 申请（专利权）人 | 山东省科学院情报研究所 |
| 代理机构 | 济南圣达知识产权代理有限公司 | 代理人 | 黄海丽 |
| 地址 | 250014山东省济南市历下区科院路19号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于Hadoop的网络数据挖掘与分析平台及其方法，其中，该平台包括数据采集层、数据存储层、业务应用层和用户层；所述数据采集层，采用分布式定向采集体系架构且以不同网络中的终端站点作为网络数据采集的一个基本任务单位来对原始网络数据进行采集，并向数据存储层汇聚传输；其中，每个基本任务单位采用独立的采集规则及策略；及所述数据存储层，用于完成数据的原始网络数据的汇聚、存储及原始处理，并提供不同类型的功能调用服务；所述数据存储层采用Hadoop框架实现；及所述业务应用层，用于调取数据存储层处理后的网络数据并进行分析，来实现公有组件与个性业务应用组件剥离，并将网络数据分析后的结果传送至用户层进行实时展示。 |
