一种大数据采集系统和方法

基本信息

申请号 CN201910013743.5 申请日 -
公开(公告)号 CN109739921A 公开(公告)日 2019-05-10
申请公布号 CN109739921A 申请公布日 2019-05-10
分类号 G06F16/25(2019.01)I; G06F16/22(2019.01)I 分类 计算;推算;计数;
发明人 王江; 胡湿; 黄福鑫 申请(专利权)人 北京云基数技术有限公司
代理机构 北京细软智谷知识产权代理有限责任公司 代理人 北京云基数技术有限公司
地址 100020 北京市朝阳区北苑路乙108号25幢一层8号
法律状态 -

摘要

摘要 本发明涉及一种大数据采集系统和方法,所述大数据采集系统包括:数据采集模块、数据汇聚模块和数据接收模块;所述数据采集模块包括一个或多个agent单元;所述agent单元部署在要采集的数据设备上,所述agent单元用于采集运行数据,并将该数据发送给数据汇聚模块进行聚合和预处理;所述数据接收模块用于接收数据汇聚模块上传的处理数据,并对该数据进行加工处理,并将处理后的数据进行存储和展示;本发明的系统通过数据汇聚模块对采集的数据进行预处理,能够降低数据传输量和传输频率,便于数据更稳定的传送给数据接收模块;通过在数据采集模块上设置存储单元,能够降低数据泄露和丢失的概率,有利于提高采集系统的安全性。