一种获取目标主题数据信息的方法及装置
基本信息
| 申请号 | CN202210336663.5 | 申请日 | - |
| 公开（公告）号 | CN114707046A | 公开（公告）日 | 2022-07-05 |
| 申请公布号 | CN114707046A | 申请公布日 | 2022-07-05 |
| 分类号 | G06F16/951（2019.01）I;G06F16/955（2019.01）I;G06F40/279（2020.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 郑泽宇;温苗苗;周光宝;向忠;刘丽娴;何治;海滨 | 申请（专利权）人 | 杭州知衣科技有限公司 |
| 代理机构 | 杭州知学知识产权代理事务所（普通合伙） | 代理人 | - |
| 地址 | 311200浙江省杭州市萧山区萧山经济技术开发区明星路371号1幢1201室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及网络信息技术领域，具体公开了一种获取目标主题数据信息的方法，从URL队列中提取URL链接，进入目标主题的网页抓取原始网络数据，判断网页是否包含AJAX引用，若是，则运用深层网络爬虫基于NLP自然语言及相关度聚类算法，从包含表单URL的网页中定向获取目标主题相关的数据信息；若否，则运用表层网络爬虫基于NLP自然语言及相关度聚类算法，从不包含表单URL的网页中定向获取目标主题相关的数据信息。本发明基于NLP自然语言及相关度聚类算法，不仅使得获取得数据数量和质量远高于传统网络爬虫的数据，而且，实现了网络爬虫的深层网络化、人工智能化，构建了高效、精准且智能化的数据处理方法。 |
