分布式数据采集方法、系统及存储介质
基本信息
| 申请号 | CN202010819714.0 | 申请日 | - |
| 公开（公告）号 | CN111814024B | 公开（公告）日 | 2021-09-03 |
| 申请公布号 | CN111814024B | 申请公布日 | 2021-09-03 |
| 分类号 | G06F16/951;G06F16/955;G06F16/958;G06F9/50;G06F9/54 | 分类 | 计算；推算；计数; |
| 发明人 | 杨超明;姚登科;王君 | 申请（专利权）人 | 北京斗米优聘科技发展有限公司 |
| 代理机构 | 北京航信高科知识产权代理事务所（普通合伙） | 代理人 | 高原 |
| 地址 | 100085 北京市海淀区信息路甲28号12层C座12A-2E | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本公开提供了一种分布式数据采集方法、系统及可读存储介质，该方法包括针对不同的爬取项目配置不同的项目名，所述项目名用于唯一标识所述爬取项目；任务分配器基于所述项目名生成爬取任务，并分配所述爬取任务；多个网页下载器基于所述项目名和所述爬取任务分布式地进行数据采集。本公开解决了相关技术中由于网络爬虫的任务是多变的，经常因为网站和爬取对象的变化需要做大量的变更工作而导致编写各种流程复杂繁琐的问题，具有提高工作效率的有益效果。 |
