首页/ 南京北斗创新应用科技研究院有限公司/ 专利详情

一种大数据ETL模型执行的分支优化方法

基本信息

申请号 CN202011002885.0 申请日 -
公开（公告）号 CN112115191B 公开（公告）日 2022-02-15
申请公布号 CN112115191B 申请公布日 2022-02-15
分类号 G06F16/25（2019.01）I 分类 计算；推算；计数;
发明人 朱欣焰;郭宇达;呙维;樊亚新 申请（专利权）人 南京北斗创新应用科技研究院有限公司
代理机构 北京金智普华知识产权代理有限公司 代理人 杨采良
地址 211500江苏省南京市六合区龙池街道虎跃东路8号
法律状态 -

摘要

摘要 本发明公开了一种大数据ETL模型执行的分支优化方法，根据原始数据集的更新特点、ELT模型特点动态分析模型执行的必要性；针对ETL模型的多个算子分支进行优化判断，针对更新频率较低的分支，通过缓存表重构的方式跳过中间的重复计算过程，从算子层面降低重复执行率，提高ETL模型的执行效率，更加高效地进行大数据分析。与现有技术相比，本发明能够根据原始数据集的更新特点、ELT模型特点动态分析模型执行的必要性；针对ETL模型的多个算子分支进行优化判断，针对更新频率较低的分支，通过缓存表重构的方式跳过中间的重复计算过程，从算子层面降低重复执行率，提高ETL模型的执行效率，更加高效地进行大数据分析。