一种消除模态差异的跨模态检索方法和系统
基本信息
| 申请号 | CN202210551524.4 | 申请日 | - |
| 公开（公告）号 | CN114764451A | 公开（公告）日 | 2022-07-19 |
| 申请公布号 | CN114764451A | 申请公布日 | 2022-07-19 |
| 分类号 | G06F16/583（2019.01）I;G06F16/58（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 吴俊毅;高志鹏;郭小强;黄仁裕;赵建强;杜新胜 | 申请（专利权）人 | 厦门市美亚柏科信息股份有限公司 |
| 代理机构 | 厦门福贝知识产权代理事务所（普通合伙） | 代理人 | - |
| 地址 | 361000福建省厦门市思明区软件园二期观日路12号102-402单元 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明给出了一种消除模态差异的跨模态检索方法和系统，包括将RGB图像和IR图像随机打乱，选取训练批作为输入；引入中间模态数据，利用中间模态数据结合动态稀疏规范化伪标签策略以增强模型泛化性。本发明提出了一种渐进式的消除模态差异的跨模态目标检索算法，将模型的关注点集中于图像本身，而不是图像对之间的ID关联。紧接着引入中间模态的数据，进一步防止IR图像信息在训练过程中被忽略，中间模态数据集由非条件生成对抗网络生成，并采用动态稀疏规范化伪标签策略来为中间模态数据集生成标签，可用于跨模态人脸检索和行人检索，该方法和系统在跨模态目标检索上有显著的性能提升。 |
