基于Spark和Hive的分布式OLAP即席查询方法
基本信息
申请号 | CN202010808594.4 | 申请日 | - |
公开(公告)号 | CN111966727A | 公开(公告)日 | 2020-11-20 |
申请公布号 | CN111966727A | 申请公布日 | 2020-11-20 |
分类号 | G06F16/2458;G06F16/28 | 分类 | 计算;推算;计数; |
发明人 | 刘启涛 | 申请(专利权)人 | 北京海致科技集团有限公司 |
代理机构 | - | 代理人 | - |
地址 | 100083 北京市海淀区学院路甲5号2幢平房B-1011 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了基于Spark和Hive的分布式OLAP即席查询方法,包括如下步骤:1、由OLAP Query开始,可以是任一种方式触发OLAP Query,是引擎执行的第一个阶段;2、在Query获取Query Keyword后,会进行关键词的Validator,即验证检测;3、验证后如果验证结果通过则进行后续Cache操作;4、进行Router路由匹配;5、进行SQL Rewrite;6、本阶段执行引擎会进行执行,并得到相应的结果。本专利的优点在于,不仅支持海量数据,还可以支撑海量数据下任意维度和时间跨度的高效统计查询,提供一个灵活多维度的组合型查询工具,对应不同维度的业务分析。 |
