SparkSQL多表连接优化方法、装置、计算机设备和存储介质
基本信息
| 申请号 | CN202110570663.7 | 申请日 | - |
| 公开（公告）号 | CN113407532A | 公开（公告）日 | 2021-09-17 |
| 申请公布号 | CN113407532A | 申请公布日 | 2021-09-17 |
| 分类号 | G06F16/22（2019.01）I;G06F16/242（2019.01）I;G06F16/2453（2019.01）I;G06F16/28（2019.01）I;G06K9/62（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 宋爱波;付豪;方效林;杨明 | 申请（专利权）人 | 南京逸智网络空间技术创新研究院有限公司 |
| 代理机构 | 南京经纬专利商标代理有限公司 | 代理人 | 罗运红 |
| 地址 | 210012江苏省南京市雨花台区大周路34号科创城B3栋第8层及第7层702、703室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请涉及一种Spark SQL多表连接优化方法、装置、计算机设备和存储介质。该方法包括：获取根据目标数据仓库设计的SQL多表连接查询语句集；将SQL多表连接查询语句集划分为训练集和测试集；根据训练集和测试集，对预先构建的马尔可夫决策模型进行训练，获得目标数据仓库的多表连接查询计划选择策略；根据多表连接查询计划选择策略，对目标数据仓库的数据表进行连接。解决了Spark SQL现有的查询优化在多表连接查询计划选择时效率低、依赖开发人员经验的问题，能够快速有效地构建多表连接查询执行计划，从而提高Spark SQL执行效率。 |
