一种基于“用归并算法计算一对一join、一对多join”的对位分段并行方法
基本信息
申请号 | CN201710950911.4 | 申请日 | - |
公开(公告)号 | CN107657050A | 公开(公告)日 | 2018-02-02 |
申请公布号 | CN107657050A | 申请公布日 | 2018-02-02 |
分类号 | G06F17/30 | 分类 | 计算;推算;计数; |
发明人 | 蒋步星 | 申请(专利权)人 | 北京润乾信息系统技术有限公司 |
代理机构 | - | 代理人 | - |
地址 | 100085 北京市海淀区上地四街8号华成大厦501 | ||
法律状态 | - |
摘要
摘要 | 本发明提供了一种基于“用归并算法计算一对一join、一对多join”的对位分段并行方法。把数据集A平均分成N段,分完段以后把每段的第一条记录的主键键值读出来,与数据集A对应的数据集B也得分段,根据数据集A中每段的第一条记录的主键键值用二分法找到数据集B中对应的每段第一条记录的关联键键值。找到数据集B中的每一段的起始点以后,对数据集B按起始点进行分段;每个线程分别单独用归并算法计算一对一join同维数据集A和B分的每一个对应关联的段,数据集A和B分的段在计算时只需要各自遍历一次,计算完以后的合并数据集为C,最后再把这些分段计算后的合并数据集C组成最终的数据集D,然后就可以在数据集D中引用需要的记录了。 |
