基于知识蒸馏和多模态结合的质检方法
基本信息
| 申请号 | CN202111248179.9 | 申请日 | - |
| 公开（公告）号 | CN113919369A | 公开（公告）日 | 2022-01-11 |
| 申请公布号 | CN113919369A | 申请公布日 | 2022-01-11 |
| 分类号 | G06F40/35（2020.01）I;G10L15/06（2013.01）I;G06V10/764（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 操玉琴;宣明辉;张姗;周鸿章 | 申请（专利权）人 | 信雅达科技股份有限公司 |
| 代理机构 | 杭州裕阳联合专利代理有限公司 | 代理人 | 葛婷婕 |
| 地址 | 310051浙江省杭州市滨江区江南大道3888号信雅达科技大厦 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于知识蒸馏和多模态结合的质检方法，包含：搭建质检音频模型并对其进行训练；搭建质检文本模型并对其进行训练；将音频数据输入训练好的质检音频模型进行学习得到音频特征向量；将文本数据输入训练好的质检文本模型进行学习得到文本特征向量；将音频特征向量和文本特征向量融合形成新的融合特征向量；根据融合特征向量进行情绪预测。本发明的基于知识蒸馏和多模态结合的质检方法，利用教师模型结合数据增强的方法对学生模型进行预训练引导，利用网络参数共享提升学生模型的复杂性，最后使用交叉熵损失函数联合软、硬标签对学生模型进行训练得到音频模型和文本模型，然后将两模型特征融合预测最后的质检情绪分类结果。 |
