数据增量更新方法专利查询专利号|摘要-满商公司网

数据增量更新方法

基本信息

申请号	CN202011591296.0	申请日	-
公开（公告）号	CN112711599A	公开（公告）日	2021-04-27
申请公布号	CN112711599A	申请公布日	2021-04-27
分类号	G06F16/23;G06F16/27;G06F16/28;G06F16/21;G06F9/445	分类	计算；推算；计数;
发明人	王泰舟	申请（专利权）人	食亨（上海）科技服务有限公司
代理机构	上海专利商标事务所有限公司	代理人	陆嘉
地址	200434 上海市虹口区广粤支路1号8幢438、439、440室
法律状态	-

摘要

本发明揭示了数据增量更新方法，包括：数据配置步骤，对来自消息队列的数据进行配置，包括以数据本身日期为分区进行配置的第一Flume和以数据采集日期为分区进行配置的第二Flume，经第一Flume写入为第一ODS数据，经第二Flume写入为第二ODS数据；数据初始化步骤，对DW数据进行初始化，从第一ODS数据中选取满足筛选条件的分区作为DW最新分区；数据合并步骤，将截止到当前的第二ODS数据作为最新写入数据，将DW最新分区和最新写入数据进行合并并进行标记；数据替换步骤，将合并数据写回DW最新分区覆盖原数据；更新判定步骤，在包含合并数据的DW中执行更新判定，标记参与更新判定操作；数据更新步骤，如果判断存在更新，则将带有标记的数据同步至数据库进行增量更新。