爬虫任务处理方法及装置
基本信息
| 申请号 | CN201811441550.1 | 申请日 | - |
| 公开（公告）号 | CN109492149B | 公开（公告）日 | 2021-04-09 |
| 申请公布号 | CN109492149B | 申请公布日 | 2021-04-09 |
| 分类号 | G06F16/951(2019.01)I | 分类 | - |
| 发明人 | 徐伟 | 申请（专利权）人 | 深圳大宇无限科技有限公司 |
| 代理机构 | 北京超凡宏宇专利代理事务所（特殊普通合伙） | 代理人 | 李强 |
| 地址 | 518000广东省深圳市南山区粤海街道高新区社区科苑南路3099号中国储能大厦1701E单元 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请实施例提供了一种爬虫任务处理方法及装置，涉及数据处理技术领域。方法包括：获得爬虫任务；根据爬虫任务的优先级，将爬虫任务加入到至少两个任务队列中与优先级对应的目标任务队列；从至少两个任务队列中选择出目标任务队列以待处理爬虫任务，其中，目标任务队列对应的优先级越高使得目标任务队列被选择出的概率越大。故在保证各任务基于优先级而有序被处理的情况下，不会对设备性能要求很高，实现低成本的设备也可以良好执行爬虫任务。 |
