一种异构数据实时采集的方法
基本信息
| 申请号 | CN201910534200.8 | 申请日 | - |
| 公开（公告）号 | CN110297871A | 公开（公告）日 | 2019-10-01 |
| 申请公布号 | CN110297871A | 申请公布日 | 2019-10-01 |
| 分类号 | G06F16/28;H04L12/24;H04L29/06;H04L29/08 | 分类 | 计算；推算；计数; |
| 发明人 | 顾凌云;王伟;李军军;李海全;张力华 | 申请（专利权）人 | 常州冰鉴信息科技有限公司 |
| 代理机构 | 常州佰业腾飞专利代理事务所（普通合伙） | 代理人 | 常州冰鉴信息科技有限公司 |
| 地址 | 213164 江苏省常州市武进区常州科教城中科创业中心A-1-904室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种异构数据实时采集的方法，属于大数据技术领域，包括建立数个代理服务器、数个对接服务器和管理服务器，在每一个代理服务器中均建立一个或多个Agent组件，在每一个对接服务器中均建立一个或多个Sink组件，在管理服务器中建立MQ日志队列和配置页面，解决了数据采集不及时以及采集时间点集中影响业务系统的技术问题，本发明将对不同数据源的实时采集,底层采用不同的技术,但是在上层是统一的管理和操作方法，通过实时分析数据库日志来采集数据的方式，本发明为了解决传输性能和可靠采用的数据封包协议。 |
