一种信息爬取系统
基本信息
| 申请号 | CN201910510474.3 | 申请日 | - |
| 公开（公告）号 | CN111339388B | 公开（公告）日 | 2021-07-27 |
| 申请公布号 | CN111339388B | 申请公布日 | 2021-07-27 |
| 分类号 | G06F16/951（2019.01）I;G06F16/955（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 胡崇海;熊友根;王洪涛 | 申请（专利权）人 | 海通证券股份有限公司 |
| 代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 吴敏 |
| 地址 | 200001上海市黄浦区广东路689号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 一种信息爬取系统，所述信息爬取系统包括：多个智能爬取节点，所述智能爬取节点部署在多个拨号虚拟专用服务器上，基于信息爬取时间与信息爬取状态，动态切换所述拨号虚拟专用服务器的IP地址；资源调度系统，所述资源调度系统基于调度算法将待爬取链接分配给所述智能爬取节点以使其执行爬取操作，并从各个智能爬取节点接收爬取结果。通过本发明提供的技术方案，可以建立稳定的爬虫系统，有效应对反爬策略，实现数据的持续获取。 |
