首页/ 苏州纳智天地智能科技有限公司/ 专利详情

一种面向卷积神经网络的多机多卡混合并行异步训练方法

基本信息

申请号 CN201810295401.2 申请日 -
公开（公告）号 CN108460457A 公开（公告）日 2018-08-28
申请公布号 CN108460457A 申请公布日 2018-08-28
分类号 G06N3/04;G06N3/08 分类 计算；推算；计数;
发明人 汪浩源;程诚;王旭光 申请（专利权）人 苏州纳智天地智能科技有限公司
代理机构 苏州凯谦巨邦专利代理事务所（普通合伙） 代理人 苏州纳智天地智能科技有限公司
地址 215000 江苏省苏州市工业园区若水路398号中科院纳米所A432室
法律状态 -

摘要

摘要 本发明提出了一种面向卷积神经网络的多机多卡混合并行异步训练方法，包括如下步骤：构建CNN模型，并设置训练参数；将Softmax层的数据并行改为模型并行，将完整模型划分为若干分片，分别对应若干个GPU进行计算；改写Softmax层的源代码，不在计算结果之前交换参数数据，而是将计算结果执行Ring All‑reduce通信算法操作；多机多卡之间选出一块GPU作为参数服务器，其余所有的GPU都作为训练用；在Parameter Server模型中，各Server只负责分到的部分参数和处理任务；各子节点维护自己的参数，更新后，将结果传回主节点进行全局更新，主节点再向子节点传送新参数，依此完成训练。