训练深度神经网络的方法、装置及系统
基本信息
申请号 | CN201610641310.0 | 申请日 | - |
公开(公告)号 | CN107688493B | 公开(公告)日 | 2021-06-18 |
申请公布号 | CN107688493B | 申请公布日 | 2021-06-18 |
分类号 | G06F9/50;G06F9/54;G06N3/08 | 分类 | 计算;推算;计数; |
发明人 | 张斌;黄俊;刘忠义 | 申请(专利权)人 | 阿里巴巴(中国)网络技术有限公司 |
代理机构 | 北京鼎佳达知识产权代理事务所(普通合伙) | 代理人 | 王伟锋;刘铁生 |
地址 | 浙江省杭州市滨江区网商路699号 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种训练深度神经网络的方法、装置及系统,涉及互联网技术领域,为解决深度神经网络训练效率低下的问题而发明。本发明的方法包括:交互平台根据深度神经网络的映射层数量激活同等数量的参数服务器,基于训练样本的样本数量激活特定数量的计算节点,并将训练样本发送给计算节点;计算节点基于各自获得的训练样本集合分别对参数服务器对应的映射层进行训练,将获得的训练参数发送给参数服务器;参数服务器将不同计算节点发送的训练参数进行合并,获得更新后的训练参数,并将更新后的训练参数发送给对应的计算节点。本发明主要应用于大数据环境下的深度神经网络训练过程中。 |