一种数据爬取方法、系统及设备
基本信息
| 申请号 | CN202010218979.5 | 申请日 | - |
| 公开（公告）号 | CN111538883A | 公开（公告）日 | 2020-08-14 |
| 申请公布号 | CN111538883A | 申请公布日 | 2020-08-14 |
| 分类号 | G06F16/951(2019.01)I;G06F16/955(2019.01)I | 分类 | - |
| 发明人 | 毛卫南;苗润莲;毛维娜;张敏;向宁;张洪元 | 申请（专利权）人 | 北京市科学技术情报研究所 |
| 代理机构 | 北京知呱呱知识产权代理有限公司 | 代理人 | 北京市科学技术情报研究所 |
| 地址 | 100044北京市西城区西外大街140号首建金融中心10层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明实施例公开了一种数据爬取方法、系统及设备，涉及网络信息处理技术领域，通过流程控制数据爬取代理IP地址更换来进行数据爬取，相比于常规的代理IP爬取技术，可以大规模频繁更换数据爬取代理IP地址访问目标网页，更适合于目标网页对登入后数据获取连续性要求大的情况，解决了更换爬取代理IP地址导致数据获取出现中断的问题，最大限度的保留了数据的连续性，大大减少了后期数据处理上的复杂度，增加了数据爬取效率。 |
