一种对访问次数有限制的网站防封禁方法及系统

基本信息

申请号 CN201911353733.2 申请日 -
公开(公告)号 CN113037692A 公开(公告)日 2021-06-25
申请公布号 CN113037692A 申请公布日 2021-06-25
分类号 H04L29/06 分类 电通信技术;
发明人 孙香娟;李鑫;周彦其;姜波 申请(专利权)人 中文在线集团股份有限公司
代理机构 北京市盛峰律师事务所 代理人 于国强
地址 100005 北京市东城区东总布胡同58号天润财富中心14层1401单元
法律状态 -

摘要

摘要 本发明公开了一种对访问次数有限制的网站防封禁方法及系统,所述方法包括S1、目标浏览器使用selenium访问网站登录页面;S2、当网站登录页面加载完毕后,循环获取准备好的用户名和密码,并将获取的用户名和密码填充到网站登录页面;S3、登录网站,获取登录结果的cookie,并返回response body;S4、解析response body,获取set cookie中的内容;S5、判断获取的登录结果的cookie的是否有效,并将过期的cookie剔除,保存剩余的有效cookie;S6、调用保存的有效cookie,即可直接采集网站数据。优点是:实现了快速登录的效果,并通过对cookie的管理,有效控制cookie使用的阈值,达到防止被网站限制访问的目的。