基于多模态的情绪识别方法
基本信息
| 申请号 | CN201810613472.2 | 申请日 | - |
| 公开（公告）号 | CN108805089A | 公开（公告）日 | 2021-06-29 |
| 申请公布号 | CN108805089A | 申请公布日 | 2021-06-29 |
| 分类号 | G06K9/00;G06F17/27;G06K9/62;G10L25/63;G10L25/30 | 分类 | 计算；推算；计数; |
| 发明人 | 俞旸;凌志辉 | 申请（专利权）人 | 南京云思创智信息科技有限公司 |
| 代理机构 | 南京知识律师事务所 | 代理人 | 张苏沛 |
| 地址 | 210042 江苏省南京市玄武区玄武大道699-22号22栋301 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明的基于多模态的情绪识别方法，包括数据采集设备、输出设备、情绪分析软件系统，情绪分析软件系统通过对数据采集设备得到的数据进行综合分析推理，最终把结果输出至输出设备上；具体步骤为：基于面部图像表情情绪识别步骤、基于语音信号情绪识别步骤、基于文本语义情感分析步骤、基于人体姿态情绪识别步骤、基于生理信号情绪识别步骤，以及基于多轮对话语义理解步骤和基于时序多模态情绪语义融合关联判断步骤。本发明突破性的打通了五大单模态的情绪识别，创新性的利用深度神经网络将多个单模态的信息由神经网络编码、深度的关联和理解后进行综合判断，大幅度的提高了准确率，适用于绝大多数一般问询互动类应用场景。 |
