一种网络大数据信息聚合爬虫系统及方法
基本信息
申请号 | CN201910320017.8 | 申请日 | - |
公开(公告)号 | CN111831877A | 公开(公告)日 | 2020-10-27 |
申请公布号 | CN111831877A | 申请公布日 | 2020-10-27 |
分类号 | G06F16/951(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 汪远 | 申请(专利权)人 | 上海朋数信息科技有限公司 |
代理机构 | 上海宏京知识产权代理事务所(普通合伙) | 代理人 | 上海朋数信息科技有限公司 |
地址 | 200080上海市虹口区海宁路137号7层F座786V室 | ||
法律状态 | - |
摘要
摘要 | 本发明属于计算机技术领域,具体涉及一种网络大数据信息聚合爬虫系统及方法。信息抓取单元,用于抓取目标信息;信息处理单元,用于进行爬取内容信息相似度检测,将所述爬取得到的网络信息进行筛选;聚合分类单元,用于对筛选过的信息按类别、热度、关键字进行分类排序。具有效率高、响应快和精确度高的优点。 |
