基于BiLSTM和注意力机制的图文多模态情感识别方法专利查询专利号|摘要-满商公司网

基于BiLSTM和注意力机制的图文多模态情感识别方法

基本信息

申请号	CN202111021378.6	申请日	-
公开（公告）号	CN113705703A	公开（公告）日	2021-11-26
申请公布号	CN113705703A	申请公布日	2021-11-26
分类号	G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I	分类	计算；推算；计数;
发明人	金勇;胡林利;陈宏明	申请（专利权）人	武汉长江通信产业集团股份有限公司
代理机构	上海精晟知识产权代理有限公司	代理人	刘点
地址	430000湖北省武汉市东湖开发区关东工业园文华路2号
法律状态	-

摘要

本发明公开了基于BiLSTM和注意力机制的图文多模态情感识别方法，包括如下步骤：采集文本数据和图片数据；向量预处理，文本和图片先单独进行向量表达；文本向量和图片向量各自均经过注意力机制attention和GRU模型的结合训练；文本和图片的向量联合起来通过softmax函数进行最终综合结果的识别。本发明采用WORD2VEC和CNN技术分别对文本和图片进行预处理得到初步向量表达，然后采用BiLSTM、GRU和注意力机制进行交叉训练，再将结果融合到softmax层进行最终监督式标签识别。实验针对19000条以上的数据（每条数据包含文本和图片）进行模型训练分析，结果证明融合了图片和文字的机器学习效果更好。