首页/ 众淼创新科技（青岛）股份有限公司/ 专利详情

一种解决大数据系统中历史数据变化的方法

基本信息

申请号 CN202110675041.0 申请日 -
公开（公告）号 CN113342834A 公开（公告）日 2021-09-03
申请公布号 CN113342834A 申请公布日 2021-09-03
分类号 G06F16/23（2019.01）I;G06F16/22（2019.01）I 分类 计算；推算；计数;
发明人 张春剑;吴凯;潘自滨;刘水军 申请（专利权）人 众淼创新科技（青岛）股份有限公司
代理机构 武汉聚信汇智知识产权代理有限公司 代理人 郝雅娟
地址 266000山东省青岛市李沧区金水路187号
法律状态 -

摘要

摘要 本发明提供一种解决大数据系统中历史数据变化的方法，包括：将业务表设置更新时间字段，用于标注字段的更新时间；操作型数据存储ODS任务每天凌晨执行一次，检查业务表的更新时间字段，生成一条操作型数据存储ODS层数据；拉链表模块检查所有操作型数据存储ODS层数据最新的一条记录与各自对应的上一时间的记录进行对比，若有变化，则将该表该天有变化这一事件记录到变化通知表；拉链表任务结束后，执行生成业务日表的任务，该任务检查变化通知表，根据变化的表以及变化的日期，执行相应的任务单元，生成业务日表数据。该方法可以解决历史数据变化后，应该何时重新计算，以及哪部分应该重新计算的问题，从而节约大量计算资源。