一种基于全量分片和增量日志解析的数据交换方法及系统专利查询专利号|摘要-满商公司网

一种基于全量分片和增量日志解析的数据交换方法及系统

基本信息

申请号	CN202010176947.3	申请日	-
公开（公告）号	CN111339103A	公开（公告）日	2020-06-26
申请公布号	CN111339103A	申请公布日	2020-06-26
分类号	G06F16/22(2019.01)I	分类	-
发明人	王小玄;范浩哲;王小阳;雷俊鸽;林军军	申请（专利权）人	河南安冉云网络科技有限公司
代理机构	北京联瑞联丰知识产权代理事务所（普通合伙）	代理人	河南安冉云网络科技有限公司
地址	450000河南省郑州市金水区杨金路199号新科技市场5号楼5楼
法律状态	-

摘要

本发明涉及计算机网络技术领域，公开了一种基于全量分片和增量日志解析的数据交换方法，包括：步骤1、根据数据库表主键进行数据分片，将分片后的信息存入消息队列，以得到全量分片信息；步骤2.根据预设的作业映射关系，依据消息队列中的全量分片信息，分批从数据库中获取数据并写入目标端；步骤3.根据全量记录的写入时间点进行实时的数据库增量日志解析并实时保存增量数据到消息队列；步骤4：上次增量数据写入时记录的位置点从消息队列中获取对应的增量数据写入目标端。源表结构不需要修改即可实现数据的分批以及增量获取，避免了线上业务暂停或服务宕机，在保证源数据的自身格式的同时，还能够实时的将源数据发送到目的端，提供及时的数据服务。