用于执行人工神经网络反向训练的装置和方法
基本信息
申请号 | CN201610039032.1 | 申请日 | - |
公开(公告)号 | CN106991478B | 公开(公告)日 | 2020-05-08 |
申请公布号 | CN106991478B | 申请公布日 | 2020-05-08 |
分类号 | G06N3/08;G06N3/04;G06N3/063 | 分类 | 计算;推算;计数; |
发明人 | 刘少礼;郭崎;陈云霁;陈天石 | 申请(专利权)人 | 南京艾溪信息科技有限公司 |
代理机构 | 中科专利商标代理有限责任公司 | 代理人 | 中科寒武纪科技股份有限公司;南京艾溪信息科技有限公司 |
地址 | 100190 北京市海淀区科学院南路6号科研综合楼644室 | ||
法律状态 | - |
摘要
摘要 | 本披露提供了一种用于执行人工神经网络反向训练的装置,包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块。使用该装置可以实现多层人工神经网络的反向训练。对于每一层来说,首先对输入梯度向量进行加权求和计算出本层的输出梯度向量。该输出梯度向量乘以下一层在正向运算时的激活函数的导数值可以得到下一层的输入梯度向量。将输入梯度向量与正向运算时的输入神经元对位相乘得到本层权值的梯度,然后可以根据所得到的本层权值的梯度来更新本层的权值。 |
