基于事件驱动模型的分布式互联网数据采集系统与方法专利查询专利号|摘要-满商公司网

基于事件驱动模型的分布式互联网数据采集系统与方法

基本信息

申请号	CN201910599035.4	申请日	-
公开（公告）号	CN110347899A	公开（公告）日	2021-06-22
申请公布号	CN110347899A	申请公布日	2021-06-22
分类号	G06F16/951;G06F16/9535;G06F9/48	分类	计算；推算；计数;
发明人	孔逸飞;段毅飞;王亮亮;薛彦文;刘博;李渔	申请（专利权）人	北京熵简科技有限公司
代理机构	上海智晟知识产权代理事务所（特殊普通合伙）	代理人	刘万磊
地址	100080 北京市海淀区中关村大街甲38号1号楼B座3层121号
法律状态	-

摘要

本发明公开了一种基于事件驱动模型的分布式互联网数据采集系统及方法，涉及网络搜索技术领域，系统包括控制台模块、数据采集引擎模块、数据存储模块、日志服务模块，并运行在容器编排引擎之上；控制台模块对数据采集和数据存储进行配置；数据采集引擎模块根据控制台模块的配置完成数据采集；数据存储模块与数据采集引擎模块连接，根据控制台模块的配置完成数据存储；控制台模块、数据采集引擎模块、数据存储模块和日志服务模块都各包含一项或多项服务；服务互相解耦，以独立Docker镜像的形式部署于容器编排引擎之上。本发明具备快速地动态扩容和缩容的能力，支持日采集TB量级别海量数据的需求，并支持同时对上千种不同来源的网站进行数据采集。