一种数据库数据同步方法
基本信息
申请号 | CN202210483305.7 | 申请日 | - |
公开(公告)号 | CN114579668A | 公开(公告)日 | 2022-06-03 |
申请公布号 | CN114579668A | 申请公布日 | 2022-06-03 |
分类号 | G06F16/27;G06F16/22;G06F16/25 | 分类 | 计算;推算;计数; |
发明人 | 蒋松柏;范金龙 | 申请(专利权)人 | 中建电子商务有限责任公司 |
代理机构 | 成都春夏知识产权代理事务所(特殊普通合伙) | 代理人 | 夏琴 |
地址 | 610000 四川省成都市青羊区腾飞大道51号18栋12层1202号 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及数据处理技术领域,公开了一种数据库数据同步方法,该方法包括:订阅关系型数据库管理系统中需要同步到ES的一个或多个表,针对每个同步任务建立转换映射配置;获取同步任务的主表,以表的主键值为输入参数、全量数据为输出参数定义接口结构,建立主表全量接口;数据同步时,收到KafKa变更的消息数据,再把消息数据转换成哈希映射结构的第一映射数据;取第一映射数据中表的主键值,远程调用主表全量接口获取全量数据,将全量数据转换成哈希映射结构并赋值给第一映射数据,获取第二映射数据;基于转换映射配置中的映射结构,将第二映射数据转换成ES的模型数据。本发明可以重复、有效进行ES同步任务,减少重复开发工作量。 |
