异构数据源实时数据传输方法及系统、存储介质及终端
基本信息
申请号 | CN201911290817.6 | 申请日 | - |
公开(公告)号 | CN112988702A | 公开(公告)日 | 2021-06-18 |
申请公布号 | CN112988702A | 申请公布日 | 2021-06-18 |
分类号 | G06F16/21;G06F16/27;G06F9/54 | 分类 | 计算;推算;计数; |
发明人 | 陈清阳;严永峰;张小虎;吴旭;刘宇;陈宏斌 | 申请(专利权)人 | 天翼电子商务有限公司 |
代理机构 | 上海光华专利事务所(普通合伙) | 代理人 | 徐秋平 |
地址 | 102200 北京市昌平区未来科技城南区中国电信集团公司院内 | ||
法律状态 | - |
摘要
摘要 | 本发明提供一种异构数据源实时数据传输方法及系统、存储介质及终端,包括以下步骤:配置源数据库和目标数据库之间的数据同步任务;抓取全量数据,并将所述全量数据写入消息队列;订阅增量数据日志,并将增量数据写入所述消息队列;将所述消息队列中的数据写入到所述目标数据库中。本发明的异构数据源实时数据传输方法及系统、存储介质及终端通过采用全量和增量数据同步结合的方式实现了不停机的数据迁移,且能够避免数据丢失与重复传输,极大地提高了数据传输效率。 |
