一种网络爬虫代理隧道的负载均衡调度及异常重试方法
基本信息
| 申请号 | CN202010019709.1 | 申请日 | - |
| 公开（公告）号 | CN111240839A | 公开（公告）日 | 2020-06-05 |
| 申请公布号 | CN111240839A | 申请公布日 | 2020-06-05 |
| 分类号 | G06F9/50(2006.01)I;G06F16/951(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 李博;龙永超 | 申请（专利权）人 | 中联财联网科技有限公司 |
| 代理机构 | 北京劲创知识产权代理事务所（普通合伙） | 代理人 | 中联财联网科技有限公司 |
| 地址 | 100032北京市西城区复兴门内大街28号凯晨世贸中心东座F4层639室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种网络爬虫代理隧道的负载均衡调度及异常重试方法，属于网络搜索技术领域，适用于通过多条代理隧道进行分布式爬取网页信息的场景。本发明提供一种网络爬虫代理隧道的负载均衡调度及异常重试方法，有效提升代理隧道资源的利用率，大大降低高并发情形下网页访问的失败率，显著地缩短了任务爬取时间。 |
