首页/ 金电联行（北京）信息技术有限公司/ 专利详情

一种服务于互联网数据采集的代理IP请求频率自动调整方法

基本信息

申请号 CN202010604567.5 申请日 -
公开（公告）号 CN111756850A 公开（公告）日 2020-10-09
申请公布号 CN111756850A 申请公布日 2020-10-09
分类号 H04L29/08(2006.01)I 分类 电通信技术;
发明人 范晓忻;文章;吴广良 申请（专利权）人 金电联行（北京）信息技术有限公司
代理机构 北京爱普纳杰专利代理事务所（特殊普通合伙） 代理人 金电联行（北京）信息技术有限公司
地址 100000北京市朝阳区朝外大街乙6号朝外sohoA座21层
法律状态 -

摘要

摘要 本发明涉及一种服务于互联网数据采集的代理IP请求频率自动调整方法，包括如下步骤：根据代理IP属性，通过监控代理IP当前的下载时间来实时调整其间隔时间T，从而控制不同优劣程度的代理IP的请求访问频率；所述间隔时间T是代理从上次使用完毕到下次使用开始的中间时间。本发明的技术方案可以控制不同优劣程度的代理IP的请求访问频率；将好用的的代理的访问频率加大，将不好用的代理的访问频率减小或不使用；从宏观上减少垃圾代理的使用时间，从而增加单位时间内代理的任务下载量，提高爬虫的效率。