知识蒸馏方法及装置、存储介质、终端
基本信息
| 申请号 | CN202110443168.X | 申请日 | - |
| 公开（公告）号 | CN113159073A | 公开（公告）日 | 2021-07-23 |
| 申请公布号 | CN113159073A | 申请公布日 | 2021-07-23 |
| 分类号 | G06K9/46（2006.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 朱政;李路军;黄冠 | 申请（专利权）人 | 上海芯翌智能科技有限公司 |
| 代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 张振军 |
| 地址 | 200434上海市虹口区海宁路137号7层（集中登记地） | ||
| 法律状态 | - | ||
摘要
| 摘要 | 一种知识蒸馏方法及装置、存储介质、终端，所述方法包括：获取样本图像，将样本图像分别输入至教师网络和学生网络，教师网络包括第一特征提取模块，第一特征提取模块包括一个或多个级联的第一特征单元，学生网络包括第二特征提取模块，第二特征提取模块包括一个或多个级联的第二特征单元，样本图像具有标签；将每一第二特征单元计算得到的特征向量聚合至与该第二特征单元对应的第一特征单元计算得到的特征向量；根据第一特征提取模块输出的特征向量计算第一预测结果，根据第二特征提取模块输出的特征向量计算第二预测结果；根据第一预测结果、第二预测结果和标签计算蒸馏损失；根据蒸馏损失更新学生网络。 |
