数据实时同步方法、装置及计算机可读存储介质
基本信息
| 申请号 | CN202110371580.5 | 申请日 | - |
| 公开（公告）号 | CN113010608A | 公开（公告）日 | 2021-06-22 |
| 申请公布号 | CN113010608A | 申请公布日 | 2021-06-22 |
| 分类号 | G06F16/27;G06F16/23;G06F16/25 | 分类 | 计算；推算；计数; |
| 发明人 | 俞舒;沈鹄;张聪;耿志振;江海洋 | 申请（专利权）人 | 亿企赢网络科技有限公司 |
| 代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 温可睿 |
| 地址 | 200131 上海市浦东新区自由贸易试验区祥科路268号708室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请公开了一种数据实时同步方法、装置及计算机可读存储介质。其中，方法应用于Flink分布式框架，根据源数据库和ClickHouse的配置信息、实时同步任务控制信息从Binlog中读取待处理数据；根据待处理数据对应的数据库操作类型为数据插入操作、数据删除操作还是数据更新操作来采用相匹配的数据插入操作方式将待处理数据写入至内存中。当目的数据库数据导入操作被触发后，将内存中的数据加载至ClickHouse中。本申请可解决相关技术长时间处理极易出现数据同步不一致的现象，有效提升数据同步的实时性能，满足高性能的实时同步需求。 |
