首页/ 陕西艾特智慧信息技术有限公司/ 专利详情

一种基于内存计算的分布式数据分析处理方法

基本信息

申请号 CN201510839621.3 申请日 -
公开（公告）号 CN105426504A 公开（公告）日 2016-03-23
申请公布号 CN105426504A 申请公布日 2016-03-23
分类号 G06F17/30(2006.01)I 分类 计算；推算；计数;
发明人 朱志祥;肖跃雷;张龙兴;陈晓 申请（专利权）人 陕西艾特智慧信息技术有限公司
代理机构 - 代理人 -
地址 712000 陕西省咸阳市西咸新区沣西新城西部云谷A座14层
法律状态 -

摘要

摘要 本发明提供了一种基于内存计算的分布式数据分析处理方法，包括如下步骤：1）提供一个类SQL解析器，将传入的查询分析文本解析为相应的逻辑计划，并进行初步优化；2）提供一个任务转换器，将类SQL解析器生成的逻辑计划转换为可为大数据内存计算模型识别的计算表达式，包含多个自定义的转化类；3）提供一个查询优化器，将传入的内存计算模型可识别的表达式转化为逻辑计划同时对逻辑计划进行优化，然后转化为物理执行计划。针对传统大数据处理在数据查询分析处理上的空缺，本发明提供了一种基于内存计算的分布式数据分析处理方法，继承了内存计算模型在数据处理方面的优势，使得数据查询分析的编程语言更加简单。