一种主题网络爬虫方法、电子设备、存储介质、系统
基本信息
| 申请号 | CN201711071026.5 | 申请日 | - |
| 公开（公告）号 | CN107908698B | 公开（公告）日 | 2021-04-13 |
| 申请公布号 | CN107908698B | 申请公布日 | 2021-04-13 |
| 分类号 | G06F16/951(2019.01)I;G06F16/955(2019.01)I;G06F16/35(2019.01)I;G06F40/30(2020.01)I;G06F40/289(2020.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 石忠民;徐叶强;钟力;殷长涛 | 申请（专利权）人 | 广州索答信息科技有限公司 |
| 代理机构 | 广州市越秀区哲力专利商标事务所（普通合伙） | 代理人 | 莫之特;罗峰 |
| 地址 | 510000广东省广州市高新技术产业开发区科学城天泰一路1号第四层自编431房 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种主题网络爬虫方法，包括步骤获取主题爬虫的起始URL，将起始URL加载入种子任务队列，主题爬虫从任务队列中依次获取起始URL进行爬取，将起始URL对应的网络文档下载至本地，对网络文档进行主题相关性分类，获得主题相关文本，将主题相关文本结构化存储至数据仓库；本发明涉及电子设备与可读存储介质，用于执行一种主题网络爬虫方法；本发明还涉及一种主题网络爬虫系统；本发明通过采用word2vec的CBOW模型获得文本分词结果的词向量，采用PCA主成分分析算法对词向量进行降维，采用LSTM模型对降维的词向量进行分类，通过对爬取文档先进行分类，然后针对特定主题有选择性的对文档进行存储，提高主题与爬取文档的相关程度，增加搜索引擎覆盖率。 |
