首页/ 北京国信宏数科技有限责任公司/ 专利详情

一种基于分布式的互联网数据采集方法及系统

基本信息

申请号 CN201711105738.4 申请日 -
公开（公告）号 CN107895009A 公开（公告）日 2018-04-10
申请公布号 CN107895009A 申请公布日 2018-04-10
分类号 G06F17/30 分类 计算；推算；计数;
发明人 廖尚围;刘遥;周庚新 申请（专利权）人 北京国信宏数科技有限责任公司
代理机构 北京恒都律师事务所 代理人 王清亮
地址 100080 北京市海淀区学院南路15号北发大厦D座9层
法律状态 -

摘要

摘要 本发明是一种基于分布式的互联网数据采集方法，接收用户创建数据采集任务的请求并创建数据采集任务，将用户创建的数据采集任务分配给多个爬虫线程，并启动所述多个爬虫线程；在所述每个爬虫线程接收到数据采集任务并且被启动后，从待抓取URL队列中获取URL，并从数据采集任务指定的网站下载网页，执行数据采集任务指定的数据处理插件，进行数据的提取；所述数据采集任务指定的数据处理插件是根据指定的网站类型选择的具有不同功能的数据处理插件；将提取出来的目标数据存入指定数据库用于后续处理，将提取出来的待爬取URL推送到待爬取队列。实现多类型、复杂网站的大量数据爬取。