一种从kafka向数据库同步数据的方法专利查询专利号|摘要-满商公司网

一种从kafka向数据库同步数据的方法

基本信息

申请号	CN202111584288.8	申请日	-
公开（公告）号	CN114357068A	公开（公告）日	2022-04-15
申请公布号	CN114357068A	申请公布日	2022-04-15
分类号	G06F16/27（2019.01）I;G06F16/2455（2019.01）I;G06F16/2453（2019.01）I;G06F16/242（2019.01）I	分类	计算；推算；计数;
发明人	赵伟;姜骁	申请（专利权）人	天津南大通用数据技术股份有限公司
代理机构	天津企兴智财知识产权代理有限公司	代理人	薛萌萌
地址	300384天津市滨海新区华苑产业区海泰发展六道6号海泰绿色产业基地J座
法律状态	-

摘要

本发明提供了一种从kafka向数据库同步数据的方法，包括：S1、从数据库查询进度表得到原始数据对应的消费进度；S2、根据消费进度从kafka中读取数据，并对读取的数据进行解析；S3、数据解析后，判断数据的操作类型，对不同操作类型的数据进行攒批操作，构造sql语句；S4、在数据库中执行sql语句，向进度表写入消费进度，并判断数据库执行结果是否正确；若数据库执行结果正确，则数据库执行提交操作；若数据库执行结果错误，数据库执行回滚操作，循环至步骤S2。本发明在用户对数据库有并发查询业务时，通过攒批集中处理，保证了用户正常业务使用计算资源，保证了数据的高同步性，同时在保证了数据结果的准确性，也保持较高的数据处理速度。