一种基于关键对象特征的深度监督跨模态检索方法
基本信息
| 申请号 | CN202110208356.4 | 申请日 | - |
| 公开（公告）号 | CN113010720A | 公开（公告）日 | 2021-06-22 |
| 申请公布号 | CN113010720A | 申请公布日 | 2021-06-22 |
| 分类号 | G06F16/583;G06F16/33;G06N3/04;G06N3/08 | 分类 | 计算；推算；计数; |
| 发明人 | 曾焕强;阮海涛;陈婧;张联昌;刘青松;张帆 | 申请（专利权）人 | 厦门华联电子股份有限公司 |
| 代理机构 | 厦门市首创君合专利事务所有限公司 | 代理人 | 张松亭;王婷婷 |
| 地址 | 362000 福建省泉州市丰泽区城东城华北路269号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种基于关键对象特征的深度监督跨模态检索方法，具体包括：首先构建特征学习模块抽取每个模态的深度特征，建立每个模态的注意力网络模型将各个模态抽取的特征分为关键特征和辅助特征，然后将每个模态抽取的关键特征和辅助特征进行融合作为最终的语义表征，最后建立三重损失函数：公共空间损失，标签空间损失和模态间不变性损失对模型进行训练学习。本发明提供的方法不仅能提高检索速度而且能够有效解决跨模态检索中精确度不高的问题。 |
