一种提高基于Hadoop大数据综合查询引擎效率的方法及系统
基本信息
| 申请号 | CN201811148630.8 | 申请日 | - |
| 公开（公告）号 | CN109446395A | 公开（公告）日 | 2019-03-08 |
| 申请公布号 | CN109446395A | 申请公布日 | 2019-03-08 |
| 分类号 | G06F16/951（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 欧阳涛 | 申请（专利权）人 | 上海派博软件有限公司 |
| 代理机构 | 杭州天勤知识产权代理有限公司 | 代理人 | 王琛 |
| 地址 | 200000 上海市长宁区天山路641号1号楼902室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种提高基于Hadoop大数据综合查询引擎效率的方法及系统，其利用各计算引擎的优势和通过技术手段避开各引擎的劣势而达到大数据查询效率提升的效果；在实时流处理需要的接口中，本发明切换引擎到Spark，再处理任务结束需要切换至批处理的任务，大大减轻新计算引擎对之前的计算引擎的排斥性影响，降低开发人员的业务代码重构，尤其是涉及在老的计算引擎上的复杂业务计算。本发明计算引擎的智能切换，提高了大数据综合查询效率，提高业务场景的适应能力。 |
