一种易扩展可配置的网络数据收集方法、系统及存储介质

基本信息

申请号 CN202011231059.3 申请日 -
公开(公告)号 CN112422332A 公开(公告)日 2021-02-26
申请公布号 CN112422332A 申请公布日 2021-02-26
分类号 H04L12/24(2006.01)I 分类 电通信技术;
发明人 张德祥;陈栋;孟凡朋;青志力 申请(专利权)人 深圳市吉屋网络技术有限公司
代理机构 深圳市添源知识产权代理事务所(普通合伙) 代理人 罗志伟
地址 518000广东省深圳市南山区西丽街道西丽社区兴科一街万科云城一期七栋C座2404研发用房
法律状态 -

摘要

摘要 本发明提供了一种易扩展可配置的网络数据收集方法、系统及存储介质,该网络数据收集方法包括收集任务模板配置步骤、模板上传步骤、记录入库步骤、设置任务的定时规则和运行机制步骤、收集任务生成到总任务表步骤、总任务表的数据推送到数据库步骤、工作机器向主机请求任务步骤、判断步骤和保存步骤。本发明的有益效果是:1.针对任务多机器部署的复杂性,实现了一种可快捷高效的部署方式,减轻部署和维护的压力。2.针对任务代码过多的痛点,本发明通过将数据解析方式抽离为单独模块,只需对不同网站配置不同的数据解析文件,即可实现网站数据的收集存取。