一种易扩展可配置的网络数据收集方法、系统及存储介质
基本信息
申请号 | CN202011231059.3 | 申请日 | - |
公开(公告)号 | CN112422332A | 公开(公告)日 | 2021-02-26 |
申请公布号 | CN112422332A | 申请公布日 | 2021-02-26 |
分类号 | H04L12/24(2006.01)I | 分类 | 电通信技术; |
发明人 | 张德祥;陈栋;孟凡朋;青志力 | 申请(专利权)人 | 深圳市吉屋网络技术有限公司 |
代理机构 | 深圳市添源知识产权代理事务所(普通合伙) | 代理人 | 罗志伟 |
地址 | 518000广东省深圳市南山区西丽街道西丽社区兴科一街万科云城一期七栋C座2404研发用房 | ||
法律状态 | - |
摘要
摘要 | 本发明提供了一种易扩展可配置的网络数据收集方法、系统及存储介质,该网络数据收集方法包括收集任务模板配置步骤、模板上传步骤、记录入库步骤、设置任务的定时规则和运行机制步骤、收集任务生成到总任务表步骤、总任务表的数据推送到数据库步骤、工作机器向主机请求任务步骤、判断步骤和保存步骤。本发明的有益效果是:1.针对任务多机器部署的复杂性,实现了一种可快捷高效的部署方式,减轻部署和维护的压力。2.针对任务代码过多的痛点,本发明通过将数据解析方式抽离为单独模块,只需对不同网站配置不同的数据解析文件,即可实现网站数据的收集存取。 |
