分布式爬虫的集中管理系统
基本信息
| 申请号 | CN202011240728.3 | 申请日 | - |
| 公开（公告）号 | CN112417242A | 公开（公告）日 | 2021-02-26 |
| 申请公布号 | CN112417242A | 申请公布日 | 2021-02-26 |
| 分类号 | G06F16/951(2019.01)I;G06F16/955(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 钟通;罗平 | 申请（专利权）人 | 深圳市宝视佳科技有限公司 |
| 代理机构 | 深圳中细软知识产权代理有限公司 | 代理人 | 袁文英 |
| 地址 | 518000广东省深圳市龙华新区龙华街道东环一路旭日小区安锦恒厂房四层B区 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明实施例公开了一种分布式爬虫的集中管理系统，其中,该分布式爬虫的集中管理系统包括主机服务器和与该主机服务器通信的多台从机服务器，上述主机服务器和从机服务器使用Scrapy框架进行布局，且所述scrapy框架使用redis队列进行URL的管理。本发明通过采用分布式爬虫来进行数据爬取并对分布式爬虫通过管理平台进行管理，不仅实现了对爬虫任务的集中管理，还节省了人力资源，完善了对爬虫任务的管理。 |
