一种分布式训练中参数更新方法及装置
基本信息
| 申请号 | CN201910864527.1 | 申请日 | - |
| 公开（公告）号 | CN110633798A | 公开（公告）日 | 2019-12-31 |
| 申请公布号 | CN110633798A | 申请公布日 | 2019-12-31 |
| 分类号 | G06N3/08（2006.01） | 分类 | 计算；推算；计数; |
| 发明人 | 王洪伟; 李鑫; 李长亮 | 申请（专利权）人 | 成都金山数字娱乐科技有限公司 |
| 代理机构 | 北京智信禾专利代理有限公司 | 代理人 | 北京金山数字娱乐科技有限公司; 成都金山数字娱乐科技有限公司 |
| 地址 | 100085 北京市海淀区小营西路33号金山软件大厦2层西区 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请提供一种分布式训练中参数更新方法及装置，其中所述分布式训练中参数更新方法包括：接收分布式训练集群中的每个训练节点传递的梯度；根据每个训练节点传递的梯度计算训练模型的损失值并更新所述训练模型的模型参数；根据所述损失值确定模型训练的训练阶段；根据所述训练阶段对所述模型参数进行压缩，获得压缩模型参数；将所述压缩模型参数同步至所述分布式训练集群的每个训练节点，更新每个训练节点中的模型参数。本申请提供的分布式训练中参数更新方法自适应地减少了参数同步时通信量的大小，即保证了模型参数的同步效率，又保证了训练结果的精度，在进行分布式训练时，提高了模型训练的速度。 |
