一种数据倾斜过载保护方法
基本信息
| 申请号 | CN201911238402.4 | 申请日 | - |
| 公开（公告）号 | CN110955553A | 公开（公告）日 | 2020-04-03 |
| 申请公布号 | CN110955553A | 申请公布日 | 2020-04-03 |
| 分类号 | G06F11/07(2006.01)I;G06F16/242(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 王帅 | 申请（专利权）人 | 南京录信软件技术有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 210000江苏省南京市江宁区滨江经济开发区盛安大道739号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种数据倾斜过载保护方法，包括如下步骤，S1：程序录入sql语句；S2：sql语句的解析过程；S3：生成逻辑计划；S4：优化逻辑计划；S5：物理计划阶段；S6：执行阶段；本发明通过对当前编写的sql语句进行诊断，判断是否会出现数据倾斜问题，一旦确定会出现数据倾斜问题，则禁止该条问题sql的提交，避免影响到机器的稳定性；主要针对很多人因不擅长写sql语句，写出会引发数据倾斜的问题sql而导致整个集群不稳定的问题，避免了长时间等待任务的执行，提升了大数据数据处理的效率。 |
