基于GPU排序的MapReduce优化方法
基本信息
| 申请号 | CN201710026869.7 | 申请日 | - |
| 公开（公告）号 | CN106802787B | 公开（公告）日 | 2019-08-02 |
| 申请公布号 | CN106802787B | 申请公布日 | 2019-08-02 |
| 分类号 | G06F9/38（2006.01）I; G06F9/50（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 李鹏飞; 丁有伟; 孙杰 | 申请（专利权）人 | 有棵树科技股份有限公司 |
| 代理机构 | 南京中盟科创知识产权代理事务所（特殊普通合伙） | 代理人 | 天泽信息产业股份有限公司 |
| 地址 | 210019 江苏省南京市建邺区云龙山路80号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出了一种基于GPU排序的MapReduce优化方法，其中MapReduce包含Map阶段、Shuffle阶段、以及Reduce阶段，Map阶段包含Spill过程和Merge过程，Reduce阶段包含Merge过程，其中，在Map阶段的Spill过程中采用基于GPU的快速排序流程，在Map阶段的Merge过程中和Reduce阶段的Merge过程中采用基于GPU的归并排序流程。通过以基于GPU的快速排序和归并排序算法替代传统的基于CPU的快速排序、归并排序和堆排序算法，提高中间数据处理速度，进而提升MapReduce的性能。 |
