一种基于熵注意的神经网络模型压缩与加速方法
基本信息
| 申请号 | CN201910400927.7 | 申请日 | - |
| 公开（公告）号 | CN110097178A | 公开（公告）日 | 2019-08-06 |
| 申请公布号 | CN110097178A | 申请公布日 | 2019-08-06 |
| 分类号 | G06N3/04;G06N3/08 | 分类 | 计算；推算；计数; |
| 发明人 | 闵锐;蒋霆 | 申请（专利权）人 | 电科瑞达（成都）科技有限公司 |
| 代理机构 | 成都点睛专利代理事务所（普通合伙） | 代理人 | 孙一峰 |
| 地址 | 610041 四川省成都市高新区高朋大道21号1幢5层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明属于神经网络技术领域，涉及一种基于熵注意的神经网络模型压缩与加速方法。本发明通过构建一个参数量大，计算量大且性能优越的教师网络模型来对一个参数量少、计算量少且性能欠佳的学生网络的强监督学习，通过该学习过程，最终得到了一个参数量少、计算量少且性能优越的小模型，该小模型能够满足现实场景的实时性以及精度要求。 |
