数据流式同步系统、设备以及方法

基本信息

申请号 CN202110211711.3 申请日 -
公开(公告)号 CN112818022A 公开(公告)日 2021-05-18
申请公布号 CN112818022A 申请公布日 2021-05-18
分类号 G06F16/2455;G06F16/2457;G06F16/22;G06F16/23;G06F16/27 分类 计算;推算;计数;
发明人 张丙松;阮金亮;高学鹏 申请(专利权)人 北京新致君阳信息技术有限公司
代理机构 上海正策律师事务所 代理人 李丽;张晟
地址 100085 北京市顺义区金航西路4号院2号楼4层419室-K019(天竺综合保税区)
法律状态 -

摘要

摘要 一种数据流式同步系统,包括同步配置单元、消息读取单元、数据加工单元以及数据入库单元,该同步配置单元被配置为:维护目标系统的增量订阅信息,根据订阅配置确定是否启用相关表的增量同步,需要同步的字段范围,目标端写入的同步表信息,目标端选择的审计表信息;该消息读取单元被配置为:执行增量消息的格式检查及异常处理;该数据加工单元被配置为:执行消息结构的解析与加工;该数据入库单元被配置为:执行增量消息的过滤分组,消息主键的匹配与排序,增量数据的插入,数据库事务的提交与回滚,异常捕获与抛出,其中该数据流式同步系统的各单元形成星型拓扑结构,基于消息队列中间件解耦上下游系统间的数据同步关联。