一种基于分布式爬虫技术的政策资讯采集管理系统
基本信息
| 申请号 | CN201911095926.2 | 申请日 | - |
| 公开（公告）号 | CN111030994A | 公开（公告）日 | 2020-04-17 |
| 申请公布号 | CN111030994A | 申请公布日 | 2020-04-17 |
| 分类号 | H04L29/06;H04L9/08;H04L9/06 | 分类 | 电通信技术; |
| 发明人 | 侯林勇;张亮;方程;刘婉莹;袁率;杨坤;李亚萍;王俊 | 申请（专利权）人 | 贵州小叮当信息技术有限公司 |
| 代理机构 | 重庆百润洪知识产权代理有限公司 | 代理人 | 贵州小叮当信息技术有限公司 |
| 地址 | 550008 贵州省贵阳市国家高新技术产业开发区科技产业园标准厂房辅助用房B303室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于分布式爬虫技术的政策资讯采集管理系统，包括政策资讯数据采集单元、数据预处理单元、数据特征提取单元、控制单元和网络爬虫系统，政策资讯数据采集单元输入端连接网络爬虫系统，输出端通过数据预处理单元连接数据特征提取单元，数据特征提取单元连接控制单元，控制单元分别连接数据加密单元、数据存储单元，控制单元通过数传单元连接后台管理终端，本发明通过分布式爬虫技术能够实现对政策资讯的精确采集，同时能够实现对数据的特征提取、加密，还能够实现对数据的加密传输，确保了管理系统的安全性。 |
