基于多任务学习与层叠跨模态融合的多模态情感分析方法
基本信息
| 申请号 | CN202210364764.3 | 申请日 | - |
| 公开（公告）号 | CN114694076A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114694076A | 申请公布日 | 2022-07-01 |
| 分类号 | G06V20/40（2022.01）I;G06V40/16（2022.01）I;G06V10/764（2022.01）I;G06K9/62（2022.01）I;G06V10/82（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈巧红;孙佳锦;漏杨波 | 申请（专利权）人 | 浙江理工大学 |
| 代理机构 | 杭州九洲专利事务所有限公司 | 代理人 | - |
| 地址 | 310018浙江省杭州市下沙高教园区白杨街道2号大街928号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明属于自然语言处理领域。技术方案是：一种基于多任务学习与层叠跨模态融合的多模态情感分析方法，其具体执行步骤如下：步骤1：将原始视频拆剪为视频片段，提取可被模型识别的文本、音频与视觉特征；步骤2：将步骤1）提取的文本、音频和视觉特征首先输入至单模态特征提取模块，得到具有上下文语义信息的单模态隐藏层特征，再将这些单模态隐藏层特征输入至层叠跨模态特征融合模块，进行特征融合与提取，得到多模态高层特征；步骤3：将步骤2所得的多模态高层特征与单模态高层特征进行拼接，通过多层感知机，输出最终的情感分类结果。该方法能在保留模态异质性的前提下，连贯融合不同模态的特征，有效识别复杂场景下的多模态情感。 |
