基于Hive分区表实现物化视图性能优化的方法及系统
基本信息
| 申请号 | CN202010808579.X | 申请日 | - |
| 公开（公告）号 | CN111984680A | 公开（公告）日 | 2020-11-24 |
| 申请公布号 | CN111984680A | 申请公布日 | 2020-11-24 |
| 分类号 | G06F16/2453;G06F16/242 | 分类 | 计算；推算；计数; |
| 发明人 | 赵恒杰 | 申请（专利权）人 | 北京海致科技集团有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 100083 北京市海淀区学院路甲5号2幢平房B-1011 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了基于Hive分区表实现物化视图性能优化的方法及系统，其方法包括如下步骤：1、用户需要将原表设为分区表，系统中称为高性能表，指定分区字段，分区粒度等信息，底层根据用户的配置将原表转化成分区表；2、在原表有数据变化，数据追加、修改或删除时将变化的信息记录下来，包括变化的分区，数据量等；3、在执行物化视图更行时根据有数据变化的分区的数据进行计算，将计算结果替换原物化视图对应分区的数据，得到最终的数据。其系统包括：1、原表存储数据类型转化装置；2、物化视图映射逻辑配置装置。本专利极大的减少了原数据量非常大时物化视图的刷新时间，极大的提高了物化视图刷新的性能；降低了用户的使用门槛，对不懂数据库，不懂编程的用户非常友好。 |
