一种基于多核CPU的分布式集群系统及数据连接方法
基本信息
| 申请号 | CN201710361514.3 | 申请日 | - |
| 公开（公告）号 | CN107247623B | 公开（公告）日 | 2018-04-13 |
| 申请公布号 | CN107247623B | 申请公布日 | 2018-04-13 |
| 分类号 | G06F9/50 | 分类 | 计算；推算；计数; |
| 发明人 | 王宏志;孙旭冉;赵志强 | 申请（专利权）人 | 工创集团有限公司 |
| 代理机构 | 北京格允知识产权代理有限公司 | 代理人 | 哈工大大数据产业有限公司 |
| 地址 | 150001 黑龙江省哈尔滨市经开区哈平路集中区渤海路6号动漫基地F座509室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种基于多核CPU的分布式集群系统及数据连接方法，其中系统包括：映射服务器，包括至少一台具有多核CPU的计算机，用于在映射任务的进程内部启动n个映射线程，并以每个核心作为一个对应计算节点进行并行计算；其中每个映射线程从共享内存预先分配的缓冲区中读取对应的数据分片vi建立哈希表；规约服务器，包括至少一台具有多核CPU的计算机，用于在规约任务的进程内部启动m个规约线程，并以每个核心作为一个对应计算节点进行并行计算；其中每个规约线程从多个哈希表中分别获取属于自己的中间数据集进行比较连接。本发明最大限度地挖掘集群系统的运算潜能，并采用预先划分数据片的方式避免了共用内存产生的操作竞争。 |
