一种基于人脸和声音的情绪预测方法和系统
基本信息
| 申请号 | CN202110127170.6 | 申请日 | - |
| 公开（公告）号 | CN112861949A | 公开（公告）日 | 2021-05-28 |
| 申请公布号 | CN112861949A | 申请公布日 | 2021-05-28 |
| 分类号 | G06K9/00(2006.01)I;G10L25/18(2013.01)I;G06K9/62(2006.01)I;G10L25/63(2013.01)I;G10L25/30(2013.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 张旻晋;许达文 | 申请（专利权）人 | 成都视海芯图微电子有限公司 |
| 代理机构 | 成都行之专利代理事务所（普通合伙） | 代理人 | 李朝虎 |
| 地址 | 610000四川省成都市中国（四川）自由贸易试验区成都高新区世纪城南路599号6栋5层505号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于人脸和声音的情绪预测方法和系统，其方法的步骤包括：首先采集人脸图像和语音录音样本，接着将人脸图像输入到卷积神经网络中以特定形式提取图像中的空间特征信息，同时将人脸图像输入到局部二进制卷积网络中提取图像的纹理特征信息，将人脸图像的空间特征信息和纹理特征信息进行融合输出增强的人脸特征，然后将语音录音输入到预处理模型计算每个窗口的梅尔频谱图将梅尔频谱图输入到声音编码模型对各个范围的短期梅尔频谱图的相关性进行建模，再通过语音片段嵌入融合器模型输出语音特征，最后将人脸特征和语音特征进行融合输入到输出模型来预测情绪。 |
