一种基于注意力机制的深度监督跨模态对抗学习方法
基本信息
| 申请号 | CN202110144443.8 | 申请日 | - |
| 公开（公告）号 | CN112905822A | 公开（公告）日 | 2021-06-04 |
| 申请公布号 | CN112905822A | 申请公布日 | 2021-06-04 |
| 分类号 | G06F16/55;G06F16/583;G06F16/35;G06F16/33;G06K9/62;G06N3/04;G06N3/08 | 分类 | 计算；推算；计数; |
| 发明人 | 曾焕强;王欣唯;朱建清;廖昀;刘青松;陈虢 | 申请（专利权）人 | 厦门华联电子股份有限公司 |
| 代理机构 | 厦门市首创君合专利事务所有限公司 | 代理人 | 张松亭;杨锴 |
| 地址 | 362000 福建省泉州市丰泽区城东城华北路269号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法，针对每个模态构建深度学习网络获取深度特征，引入生成对抗网络，利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征，在公共子空间进行异质性数据的度量的同时，利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络，使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能；在检索过程中利用训练得到的网络模型M对待查询图像（文本）和候选库中的文本（图像）进行特征提取以及余弦距离计算，从而获取待查询图像（文本）与候选库中的文本（图像）数据之间的相似度较高者，实现跨模态检索。 |
