一种大数据采集系统和方法
基本信息
申请号 | CN201910013743.5 | 申请日 | - |
公开(公告)号 | CN109739921A | 公开(公告)日 | 2019-05-10 |
申请公布号 | CN109739921A | 申请公布日 | 2019-05-10 |
分类号 | G06F16/25(2019.01)I; G06F16/22(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 王江; 胡湿; 黄福鑫 | 申请(专利权)人 | 北京云基数技术有限公司 |
代理机构 | 北京细软智谷知识产权代理有限责任公司 | 代理人 | 北京云基数技术有限公司 |
地址 | 100020 北京市朝阳区北苑路乙108号25幢一层8号 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及一种大数据采集系统和方法,所述大数据采集系统包括:数据采集模块、数据汇聚模块和数据接收模块;所述数据采集模块包括一个或多个agent单元;所述agent单元部署在要采集的数据设备上,所述agent单元用于采集运行数据,并将该数据发送给数据汇聚模块进行聚合和预处理;所述数据接收模块用于接收数据汇聚模块上传的处理数据,并对该数据进行加工处理,并将处理后的数据进行存储和展示;本发明的系统通过数据汇聚模块对采集的数据进行预处理,能够降低数据传输量和传输频率,便于数据更稳定的传送给数据接收模块;通过在数据采集模块上设置存储单元,能够降低数据泄露和丢失的概率,有利于提高采集系统的安全性。 |
