一种分布式爬虫系统及其实现方法
基本信息
| 申请号 | CN201911095920.5 | 申请日 | - |
| 公开（公告）号 | CN111061932A | 公开（公告）日 | 2020-04-24 |
| 申请公布号 | CN111061932A | 申请公布日 | 2020-04-24 |
| 分类号 | G06F16/951;G06F16/906;G06F16/9032 | 分类 | 计算；推算；计数; |
| 发明人 | 李亚萍;侯林勇;刘婉莹;王俊;张亮;杨坤;方程;袁率 | 申请（专利权）人 | 贵州小叮当信息技术有限公司 |
| 代理机构 | 重庆百润洪知识产权代理有限公司 | 代理人 | 贵州小叮当信息技术有限公司 |
| 地址 | 550008 贵州省贵阳市国家高新技术产业开发区科技产业园标准厂房辅助用房B303室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种分布式爬虫系统及其实现方法，包括登录窗口、日常空间和工作空间，登录窗口的输出端分别与日常空间和工作空间的输入端连接，日常空间和工作空间的输出端分别与通用网络爬虫系统和聚焦网络爬虫系统的输入端连接，本发明涉及爬虫系统技术领域。该分布式爬虫系统及其实现方法，通过设置日常空间和工作空间两种模式，并设置通用网络爬虫系统和聚焦网络爬虫系统分别搭载在两种模式上，日常空间可正常检索所有信息，而聚焦网络爬虫系统可正对性的采集与工作相关的信息，两种模式随意切换，互不干扰，且聚焦网络爬虫系统是依附于通用网络爬虫系统的主体结构使用，只需将部分程序文件替换，则可实现两种模式的切换。 |
