一种面向网络的分布式通用数据采集方法和系统专利查询专利号|摘要-满商公司网

一种面向网络的分布式通用数据采集方法和系统

基本信息

申请号	CN201810572779.2	申请日	-
公开（公告）号	CN109088908A	公开（公告）日	2018-12-25
申请公布号	CN109088908A	申请公布日	2018-12-25
分类号	H04L29/08;H04L12/24	分类	电通信技术;
发明人	钟刚	申请（专利权）人	武汉酷犬数据科技有限公司
代理机构	北京一格知识产权代理事务所（普通合伙）	代理人	武汉酷犬数据科技有限公司
地址	430000 湖北省武汉市东湖高新技术开发区光谷软件园A1-F10
法律状态	-

摘要

本发明特别涉及一种面向网络的分布式通用数据采集方法，包括以下步骤：服务器节点通过竞争机制在redis缓存中注册为管理节点；管理节点将有效采集任务以队列形式置入redis的等待采集队列中，并以第一预设频率对等待采集队列进行更新；各个采集节点获取采集任务，并在采集完成后，将采集任务放入已完成采集队列，且标记新一轮采集时间。当管理节点故障时，采集节点可通过自适应的异常检测自动选举出新的管理节点。同时系统需要扩容时，可以新增采集节点，并自动加入采集集群后从等待采集队列获取采集任务开始采集，不需要集群重启，不仅提高了数据采集的速度和效率，而且具有较高的健壮性、可扩展性和可管理性，扩大了数据采集方法的应用范围。