针对Clickhouse的全量和增量同步方法、设备和存储介质专利查询专利号|摘要-满商公司网

针对Clickhouse的全量和增量同步方法、设备和存储介质

基本信息

申请号	CN202110243799.7	申请日	-
公开（公告）号	CN112988916A	公开（公告）日	2021-06-18
申请公布号	CN112988916A	申请公布日	2021-06-18
分类号	G06F16/28;G06F16/21	分类	计算；推算；计数;
发明人	邓杰	申请（专利权）人	杭州天阙科技有限公司
代理机构	北京细软智谷知识产权代理有限责任公司	代理人	付登云
地址	310000 浙江省杭州市西湖区学院路28-38号1幢1号楼1001室
法律状态	-

摘要

本发明涉及大数据领域，具体涉及一种针对Clickhouse的全量和增量同步方法、设备和存储介质。本申请提供的针对Clickhouse的全量和增量同步方法包括：实时捕获原始数据的数据变化；将所述原始数据的数据变化转化为删除操作和插入操作；将所述删除操作和插入操作提交到数据处理队列；判断所述数据处理队列的当前队列的长度和等待的时间间隔是否达到预设阈值；当前队列的长度和等待的时间间隔中任一达到预设阈值时，基于所述数据处理队列，提交同步任务至Clickhouse，以完成数据变化的同步。如此设置，本申请提供的方案中，避免了高频的数据同步，数据变化操作转换为删除和插入两个操作来解决Clickhouse对于修改操作支持不友好的问题。