爬取数据的方法、装置、介质及电子设备
基本信息
| 申请号 | CN202110636165.8 | 申请日 | - |
| 公开（公告）号 | CN113392301A | 公开（公告）日 | 2021-09-14 |
| 申请公布号 | CN113392301A | 申请公布日 | 2021-09-14 |
| 分类号 | G06F16/951（2019.01）I;G06F16/955（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 杨光;周天星 | 申请（专利权）人 | 北京精准沟通传媒科技有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 100089北京市海淀区西三环北路50号院8号楼8层905 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及爬取数据的方法、装置、介质及电子设备。一种爬取数据的方法，包括：获取与爬虫任务相关的配置数据；从配置数据中获取第一动态请求信息；根据第一动态请求信息配置第一动态请求模板，第一动态请求模板包含第一动态参数；从第一动态参数的数据源获取第一动态参数对应的第一数据集合；基于第一数据集合和第一动态请求模板生成第一动态请求集合；基于第一动态请求集合进行下载，获取第一响应数据，所述第一响应数据用于被解析生成第一结果数据，所述第一结果数据为具有特定格式的所述待爬取目标的部分数据。本发明的方案可以使对所爬取数据的解析便利和高效。 |
