一种基于非易失内存的分布式计算方法、系统及存储介质

基本信息

申请号 CN202110550478.1 申请日 -
公开(公告)号 CN113342266A 公开(公告)日 2021-09-03
申请公布号 CN113342266A 申请公布日 2021-09-03
分类号 G06F3/06(2006.01)I;G06F16/172(2019.01)I;G06F16/182(2019.01)I 分类 计算;推算;计数;
发明人 蒋信;刘瑞盛;喻涛 申请(专利权)人 普赛微科技(杭州)有限公司
代理机构 广州市越秀区哲力专利商标事务所(普通合伙) 代理人 戴文仪
地址 310000浙江省杭州市临安区青山湖街道大园路1188号2幢3层3034A室
法律状态 -

摘要

摘要 本发明公开了一种基于非易失内存的分布式计算方法、系统及存储介质,其中计算方法包括步骤S1:获取初始数据,对初始数据进行预处理;步骤S2:将预处理后的数据分配至多个并行的映射节点进行处理,并将处理所得的中间结果存储于非易失存储器中;步骤S3:从所述非易失存储器中领取中间结果,并将其输入归约节点中进行归约运算,以输出最终结果。本发明能够在计算机宕机的情况下保持MapReduce计算过程中保存在非易失存储器中的计算中间结果不发生丢失,从而提高系统的效率和可靠性。