一种数据库数据同步方法

基本信息

申请号 CN202210483305.7 申请日 -
公开(公告)号 CN114579668A 公开(公告)日 2022-06-03
申请公布号 CN114579668A 申请公布日 2022-06-03
分类号 G06F16/27;G06F16/22;G06F16/25 分类 计算;推算;计数;
发明人 蒋松柏;范金龙 申请(专利权)人 中建电子商务有限责任公司
代理机构 成都春夏知识产权代理事务所(特殊普通合伙) 代理人 夏琴
地址 610000 四川省成都市青羊区腾飞大道51号18栋12层1202号
法律状态 -

摘要

摘要 本发明涉及数据处理技术领域,公开了一种数据库数据同步方法,该方法包括:订阅关系型数据库管理系统中需要同步到ES的一个或多个表,针对每个同步任务建立转换映射配置;获取同步任务的主表,以表的主键值为输入参数、全量数据为输出参数定义接口结构,建立主表全量接口;数据同步时,收到KafKa变更的消息数据,再把消息数据转换成哈希映射结构的第一映射数据;取第一映射数据中表的主键值,远程调用主表全量接口获取全量数据,将全量数据转换成哈希映射结构并赋值给第一映射数据,获取第二映射数据;基于转换映射配置中的映射结构,将第二映射数据转换成ES的模型数据。本发明可以重复、有效进行ES同步任务,减少重复开发工作量。