首页/ 广州探途网络技术有限公司/ 专利详情

爬虫调度管理平台通信方法和爬虫调度管理平台系统

基本信息

申请号 CN202011302154.8 申请日 -
公开（公告）号 CN112416550A 公开（公告）日 2021-02-26
申请公布号 CN112416550A 申请公布日 2021-02-26
分类号 G06F9/48(2006.01)I;G06F9/54(2006.01)I;G06F16/951(2019.01)I;G06F11/30(2006.01)I 分类 计算；推算；计数;
发明人 刘明东 申请（专利权）人 广州探途网络技术有限公司
代理机构 北京中知君达知识产权代理有限公司 代理人 李辰;黄启法
地址 510000广东省广州市海珠区新港东路70号之二自编004号房（仅限办公）
法律状态 -

摘要

摘要 本申请是关于爬虫调度管理平台通信方法和爬虫调度管理平台系统。该方法由负责下达和发送爬虫任务的主节点、负责执行爬虫任务的工作节点和负责数据存储的数据存储节点执行，工作节点主机发送包含本机唯一标识信息到数据存储节点；数据存储节点根据唯一标识信息在本地数据库中查找对应的工作节点信息；确认本地数据库中没有对应的工作节点信息，则将工作节点信息加入到本地数据库中；将工作节点信息发送至主节点以供主节点使用工作节点信息与工作节点进行通信。本实施例通过工作节点主动将自身信息存储于数据存储节点的方法，确保工作节点能够成功注册，进而保证了主节点与工作节点的通信稳定性。