参考多模态信息的文本摘要生成方法、电子设备及介质
基本信息
| 申请号 | CN202210104367.2 | 申请日 | - |
| 公开（公告）号 | CN114491006A | 公开（公告）日 | 2022-05-13 |
| 申请公布号 | CN114491006A | 申请公布日 | 2022-05-13 |
| 分类号 | G06F16/34（2019.01）I;G06F16/35（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V30/40（2022.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张梓键;付卫婷 | 申请（专利权）人 | 浙江同善人工智能技术有限公司 |
| 代理机构 | 上海科盛知识产权代理有限公司 | 代理人 | - |
| 地址 | 314113浙江省嘉兴市嘉善县大云镇创业路555号E1幢 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种参考多模态信息的文本摘要生成方法、电子设备及介质，包括编码步骤和解码步骤；编码步骤包括：通过特征映射获取多模态信息的序列化特征，多模态信息包括文本信息、音频信息和图像信息；通过注意力机制对多模态信息的序列化特征进行增强，获得多模态信息的增强特征；对多模态信息的增强特征进行分类，获得若干类增强特征集合；将若干类增强特征集合一一对应输入若干个前馈神经网络中，对应获得若干组融合特征；将若干组融合特征拼接成特征融合向量；解码步骤包括：通过跨注意力机制，以特征融合向量作为隐状态输入，对文本信息的增强特征与特征融合向量进行特征融合，生成文本摘要。与现有技术相比，本发明具有效率高、准确性高等优点。 |
