一种海量数据的收集与交换系统及方法
基本信息
申请号 | CN201510843249.3 | 申请日 | - |
公开(公告)号 | CN105447146A | 公开(公告)日 | 2016-03-30 |
申请公布号 | CN105447146A | 申请公布日 | 2016-03-30 |
分类号 | G06F17/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 朱志祥;梁小江;肖跃雷;于金良 | 申请(专利权)人 | 陕西艾特智慧信息技术有限公司 |
代理机构 | - | 代理人 | - |
地址 | 712000 陕西省咸阳市西咸新区沣西新城西部云谷A座14层 | ||
法律状态 | - |
摘要
摘要 | 本发明提拱一种海量数据的收集与交换系统,该系统采用代理模式,该系统的代理包括数据收集器、传输通道、接收器;所述数据收集器负责将数据源的数据收集,经过加工转化为事件,以事件(包括事件头信息和数据两个部分)的形式发送的传输通道上,支持多种数据接收器;所述传输通道用来缓存数据收集器发送过来的事件;所述接收器抽取传输通道中的事件,根据相应配置将文件存储到文件系统、数据库,或者提交到远程服务器或下一级的代理中。本发明中各个代理之间相互独立,可以对多个数据源进行并行交换,实现数据读入和写出的分离,使得系统架构更加灵活、轻量、高效。 |
