基于温习机制的知识蒸馏方法、装置、计算机设备和介质
基本信息
| 申请号 | CN202110495734.1 | 申请日 | - |
| 公开（公告）号 | CN113240120A | 公开（公告）日 | 2021-08-10 |
| 申请公布号 | CN113240120A | 申请公布日 | 2021-08-10 |
| 分类号 | G06N5/02（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06K9/00（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈鹏光;刘枢;贾佳亚;沈小勇;吕江波 | 申请（专利权）人 | 深圳思谋信息科技有限公司 |
| 代理机构 | 广州华进联合专利商标代理有限公司 | 代理人 | 蔡抒枫 |
| 地址 | 518051广东省深圳市南山区高新南九道45号三航科技大厦22楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请涉及一种基于温习机制的知识蒸馏方法、装置、计算机设备和存储介质。本申请能够将教师网络不同阶段之间的信息都能传递至学生网络，进而提高知识蒸馏的效果，提高分类准确度。该方法包括：获取训练数据；将训练数据输入至教师网络，得到教师网络的各中间层的输出特征，以及将训练数据输入至学生网络，得到学生网络输出的学生网络预测结果和学生网络的各中间层的输出特征；根据学生网络中各中间层的输出特征与教师网络中各中间层的输出特征的距离的累加确定蒸馏损失部分；根据学生网络预测结果确定基础损失部分；基于蒸馏损失部分和基础损失部分，对学生网络进行训练。 |
