一种基于非易失内存的分布式计算方法、系统及存储介质
基本信息
申请号 | CN202110550478.1 | 申请日 | - |
公开(公告)号 | CN113342266A | 公开(公告)日 | 2021-09-03 |
申请公布号 | CN113342266A | 申请公布日 | 2021-09-03 |
分类号 | G06F3/06(2006.01)I;G06F16/172(2019.01)I;G06F16/182(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 蒋信;刘瑞盛;喻涛 | 申请(专利权)人 | 普赛微科技(杭州)有限公司 |
代理机构 | 广州市越秀区哲力专利商标事务所(普通合伙) | 代理人 | 戴文仪 |
地址 | 310000浙江省杭州市临安区青山湖街道大园路1188号2幢3层3034A室 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于非易失内存的分布式计算方法、系统及存储介质,其中计算方法包括步骤S1:获取初始数据,对初始数据进行预处理;步骤S2:将预处理后的数据分配至多个并行的映射节点进行处理,并将处理所得的中间结果存储于非易失存储器中;步骤S3:从所述非易失存储器中领取中间结果,并将其输入归约节点中进行归约运算,以输出最终结果。本发明能够在计算机宕机的情况下保持MapReduce计算过程中保存在非易失存储器中的计算中间结果不发生丢失,从而提高系统的效率和可靠性。 |
