爬取数据的方法、装置、介质及电子设备
基本信息
| 申请号 | CN202110477953.7 | 申请日 | - |
| 公开（公告）号 | CN113190735A | 公开（公告）日 | 2021-07-30 |
| 申请公布号 | CN113190735A | 申请公布日 | 2021-07-30 |
| 分类号 | G06F16/951（2019.01）I;G06F16/955（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 杨光;周天星 | 申请（专利权）人 | 北京精准沟通传媒科技有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 100089北京市海淀区西三环北路50号院8号楼8层905 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及爬取数据的方法、装置、介质及电子设备。一种爬取数据的方法，包括：获取本次请求URL，根据所述本次请求URL进行数据爬取任务；获取组装后续请求所需的配置数据，后续请求配置数据包括累加参数和累加数；读取本次请求URL中包含的累加参数的参数值；将参数值与累加数相加，得到累加后的参数值；基于累加后的参数值，生成新的URL请求；将新的URL请求放入待请求队列，从而依据待请求队列中的URL请求执行爬虫任务。根据本发明的方案，不依赖于页面中的链接而生成新的URL请求，可以实现内容上连续的多个APP端请求的连续爬取，提高了APP端数据的爬取效率。 |
