一种基于微服务的自动爬虫管理方法专利查询专利号|摘要-满商公司网

一种基于微服务的自动爬虫管理方法

基本信息

申请号	CN202110096651.5	申请日	-
公开（公告）号	CN112765438A	公开（公告）日	2021-05-07
申请公布号	CN112765438A	申请公布日	2021-05-07
分类号	G06F16/951(2019.01)I;G06F11/30(2006.01)I	分类	-
发明人	王建伟	申请（专利权）人	北京星汉博纳医药科技有限公司
代理机构	北京纽乐康知识产权代理事务所（普通合伙）	代理人	田磊
地址	100001北京市海淀区西北旺镇永丰屯538号2号楼4层410、412室
法律状态	-

摘要

本发明公开了一种基于微服务的自动爬虫管理方法，该方法包括以下步骤：服务端基于springboot微服务架构和多线程技术，运行程序对爬虫管理平台进行任务接口抽象化，按照爬取同类网站重复步骤对任务接口定义规则；建立爬虫任务流水线，对任务接口进行管理，实现客户端网站数据自动化爬取操作；客户端运用java或python任意一种编程语言，建立与服务端通信的爬虫任务接口，客户端通过token令牌进行注册，注册后客户端与服务端做心跳机制沟通，领取爬虫任务，并推送爬虫结果数据。本发明的有益效果：本申请服务端基于运用微服务架构和多线程技术，通过爬虫管理平台实现客户端网站数据抓取，能够对爬虫客户端和任务管理服务端快速扩容，提高爬虫效率和节约人力成本。