一种主题网络爬虫方法、装置及介质专利查询专利号|摘要-满商公司网

一种主题网络爬虫方法、装置及介质

基本信息

申请号	CN201910334543.X	申请日	-
公开（公告）号	CN110069690B	公开（公告）日	2021-12-07
申请公布号	CN110069690B	申请公布日	2021-12-07
分类号	G06F16/951（2019.01）I;G06N3/08（2006.01）I;G06N3/12（2006.01）I	分类	计算；推算；计数;
发明人	杨承鑫	申请（专利权）人	成都映潮科技股份有限公司
代理机构	成都创新引擎知识产权代理有限公司	代理人	向群
地址	610041 四川省成都市高新区天府大道中段666号2栋34层3406号
法律状态	-

摘要

本发明涉及一种主题网络爬虫方法、装置及介质，所述方法包括：采集给定网站中的产品信息，对所述产品信息按照主题进行分类标注，得到训练样本；利用训练样本对遗传算法+BP神经网络模型进行训练，得到训练好的模型；输入要采集的目标网站url、采集的主题、采集阈值，对目标网站进行数据采集，采用超链接广度优先遍历策略，获取与主题同级的页面；对获取到的页面进行数据清洗，将清洗完成后的数据输入训练好的模型中，得到优解，并对优解对应的页面进行采集、存储，并输出关键字段。本发明采用遗传算法+BP神经网络模型以达到减少前期盲目搜索，防止收敛到局部最优的目的，解决了传统主题爬虫中出现的精度低，覆盖面低，数据不完整，主题关联度不强的问题。