一种跨模态情感迁移方法及装置
基本信息
| 申请号 | CN201910163381.8 | 申请日 | - |
| 公开（公告）号 | CN111832331A | 公开（公告）日 | 2020-10-27 |
| 申请公布号 | CN111832331A | 申请公布日 | 2020-10-27 |
| 分类号 | G06K9/00(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 王春雷;尉迟学彪;毛鹏轩 | 申请（专利权）人 | 北京入思技术集团有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 100083北京市海淀区学清路甲18号中关村东升科技园学院园东配楼2层224室(东升地区) | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种跨模态情感迁移方法及装置，所述方法包括：接收用户语音信号和视频图像；基于所述语音信号和视频图像分别进行用户语音情绪识别和面部表情识别；比对所述语音情绪识别结果和面部表情识别结果是否一致，如果一致则将用户语音信号和原始视频图像直接输出，否则根据所述语音情绪识别结果对所述用户视频图像进行相应的面部表情修正，并将用户语音信号和经过面部表情修正后的用户视频图像作为最终输出。本发明提出的跨模态情感迁移方法及装置，能够根据用户的语音情绪状况，对该用户的视频图像进行相应的表情修正，从而让用户的表情看上去更加生动而富有感染力，可有效提升在线视频聊天或者在线教学的趣味性和互动性。 |
