一种对访问次数有限制的网站防封禁方法及系统
基本信息
申请号 | CN201911353733.2 | 申请日 | - |
公开(公告)号 | CN113037692A | 公开(公告)日 | 2021-06-25 |
申请公布号 | CN113037692A | 申请公布日 | 2021-06-25 |
分类号 | H04L29/06 | 分类 | 电通信技术; |
发明人 | 孙香娟;李鑫;周彦其;姜波 | 申请(专利权)人 | 中文在线集团股份有限公司 |
代理机构 | 北京市盛峰律师事务所 | 代理人 | 于国强 |
地址 | 100005 北京市东城区东总布胡同58号天润财富中心14层1401单元 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种对访问次数有限制的网站防封禁方法及系统,所述方法包括S1、目标浏览器使用selenium访问网站登录页面;S2、当网站登录页面加载完毕后,循环获取准备好的用户名和密码,并将获取的用户名和密码填充到网站登录页面;S3、登录网站,获取登录结果的cookie,并返回response body;S4、解析response body,获取set cookie中的内容;S5、判断获取的登录结果的cookie的是否有效,并将过期的cookie剔除,保存剩余的有效cookie;S6、调用保存的有效cookie,即可直接采集网站数据。优点是:实现了快速登录的效果,并通过对cookie的管理,有效控制cookie使用的阈值,达到防止被网站限制访问的目的。 |
