基于Spark和Hive的分布式OLAP即席查询方法

基本信息

申请号 CN202010808594.4 申请日 -
公开(公告)号 CN111966727A 公开(公告)日 2020-11-20
申请公布号 CN111966727A 申请公布日 2020-11-20
分类号 G06F16/2458;G06F16/28 分类 计算;推算;计数;
发明人 刘启涛 申请(专利权)人 北京海致科技集团有限公司
代理机构 - 代理人 -
地址 100083 北京市海淀区学院路甲5号2幢平房B-1011
法律状态 -

摘要

摘要 本发明公开了基于Spark和Hive的分布式OLAP即席查询方法,包括如下步骤:1、由OLAP Query开始,可以是任一种方式触发OLAP Query,是引擎执行的第一个阶段;2、在Query获取Query Keyword后,会进行关键词的Validator,即验证检测;3、验证后如果验证结果通过则进行后续Cache操作;4、进行Router路由匹配;5、进行SQL Rewrite;6、本阶段执行引擎会进行执行,并得到相应的结果。本专利的优点在于,不仅支持海量数据,还可以支撑海量数据下任意维度和时间跨度的高效统计查询,提供一个灵活多维度的组合型查询工具,对应不同维度的业务分析。