一种优化定位精度及爬取效率的爬虫方法
基本信息
| 申请号 | CN202010983424.X | 申请日 | - |
| 公开（公告）号 | CN112115330A | 公开（公告）日 | 2020-12-22 |
| 申请公布号 | CN112115330A | 申请公布日 | 2020-12-22 |
| 分类号 | G06F16/951(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 孙健;胡健龙;姚婷婷;赵书武;王彩洪 | 申请（专利权）人 | 电子科技大学成都研究院 |
| 代理机构 | 北京正华智诚专利代理事务所（普通合伙） | 代理人 | 何凡 |
| 地址 | 610213四川省成都市双流区公兴街道华府大道四段999号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种优化定位精度及爬取效率的爬虫方法，包括以下步骤：S1：获取目标网站和爬取关键词；S2：根据目标网站的首页判断是否需要登录验证，若是则进入步骤S3，否则进入步骤S4；S3：通过提取Cookies和authenticity_token，构建Cookies池并识别验证码，进行模拟登录；S4：采用Splash对象，对模拟登录后目标网站中的多层动态渲染网页进行定向爬取。本发明有效提高了应对目前主流网站的反爬机制的效率，有效提高了爬取内容的定向性与精确度，反应时间更快，容错率更高，健壮性更强。 |
