通信避免方法、装置、电子设备和存储介质
基本信息
| 申请号 | CN202110782183.7 | 申请日 | - |
| 公开（公告）号 | CN113377546A | 公开（公告）日 | 2021-09-10 |
| 申请公布号 | CN113377546A | 申请公布日 | 2021-09-10 |
| 分类号 | G06F9/50（2006.01）I;G06F16/901（2019.01）I;G06F17/16（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 肖俊敏;曹连雨 | 申请（专利权）人 | 中科弘云科技（北京）有限公司 |
| 代理机构 | 北京维正专利代理有限公司 | 代理人 | 张鸿基;马希超 |
| 地址 | 100089北京市海淀区上地信息产业基地开拓路7号1幢二层2209室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请的实施例提供了一种通信避免方法、装置、电子设备和存储介质，该方法包括：确定训练神经网络模型每层的计算过程的统一表达形式；基于涉及训练神经网络模型的计算过程的所有进程数量，将变量矩阵重复Pr次且使每个进程持有变量矩阵的1/Pc块、参数矩阵重复Pc次且使每个进程持有参数矩阵的1/Pr块；基于统一表达形式、变量矩阵的划分结果以及参数矩阵的划分结果确定训练神经网络模型时的通信复杂度，并调整Pc和Pr使得通信复杂度最优，以通信复杂度最优的方式来进行通信。本申请能够有效减少处理器间通信量。 |
