一种网络大数据信息聚合爬虫系统及方法

基本信息

申请号 CN201910320017.8 申请日 -
公开(公告)号 CN111831877A 公开(公告)日 2020-10-27
申请公布号 CN111831877A 申请公布日 2020-10-27
分类号 G06F16/951(2019.01)I 分类 计算;推算;计数;
发明人 汪远 申请(专利权)人 上海朋数信息科技有限公司
代理机构 上海宏京知识产权代理事务所(普通合伙) 代理人 上海朋数信息科技有限公司
地址 200080上海市虹口区海宁路137号7层F座786V室
法律状态 -

摘要

摘要 本发明属于计算机技术领域,具体涉及一种网络大数据信息聚合爬虫系统及方法。信息抓取单元,用于抓取目标信息;信息处理单元,用于进行爬取内容信息相似度检测,将所述爬取得到的网络信息进行筛选;聚合分类单元,用于对筛选过的信息按类别、热度、关键字进行分类排序。具有效率高、响应快和精确度高的优点。