一种提升Impala查询容量的实现方案
基本信息
| 申请号 | CN202010064306.9 | 申请日 | - |
| 公开（公告）号 | CN113138976A | 公开（公告）日 | 2021-07-20 |
| 申请公布号 | CN113138976A | 申请公布日 | 2021-07-20 |
| 分类号 | G06F16/215（2019.01）I;G06F16/22（2019.01）I;G06F16/2455（2019.01）I;G06F16/27（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 王东;张晨飞 | 申请（专利权）人 | 南京中新赛克科技有限责任公司 |
| 代理机构 | 南京苏高专利商标事务所（普通合伙） | 代理人 | 柏尚春 |
| 地址 | 210012江苏省南京市雨花台区宁双路19号2幢1501室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种提升Impala查询容量的实现方案，将从数据源收集，处理后的数据存储到Hadoop集群中，Impala关联Hadoop集群，通过将元数据缓存入Redis中，在用户首次提交查询请求，SQL引擎创建执行计划时，从Redis中获取元数据，反序列化后存入Lrucache中，后续请求创建执行计划直接从Lrucache中获取元数据，该方案可以支持元数据大于4G的表的更新，从而支持元数据大于4G的大表的查询。 |
