首页/ 南京码极客科技有限公司/ 专利详情

基于自注意力和生成对抗网络的细粒度跨媒体检索方法

基本信息

申请号 CN202111334768.9 申请日 -
公开（公告）号 CN113779282A 公开（公告）日 2021-12-10
申请公布号 CN113779282A 申请公布日 2021-12-10
分类号 G06F16/48;G06F16/43;G06F16/45;G06N3/04 分类 计算；推算；计数;
发明人 姚亚洲;孙泽人;陈涛;张传一;沈复民 申请（专利权）人 南京码极客科技有限公司
代理机构 成都君合集专利代理事务所（普通合伙） 代理人 尹新路
地址 211899 江苏省南京市浦口区新北路1号江北国际智谷B栋5层
法律状态 -

摘要

摘要 本发明涉及细粒度跨媒体检索技术领域，公开了一种基于自注意力和生成对抗网络的细粒度跨媒体检索方法，包括：提取媒体数据的卷积神经网络和循环神经网络；将卷积神经网络和循环神经网络输入进公共语义空间学习模块，提取与媒体数据类别无关的语义特征A1；将公共语义空间学习模块中的语义特征A1输入进媒体判别器；将生成器和媒体判别器进行对抗学习，得到训练后的语义特征A2；将语义特征A2与公共语义空间学习模块中的语义特征A1进行相似性度量，根据度量的结果检索其对应的数据。本发明用于学习细粒度子类别之间的细小差距、缩小跨媒体数据之间的异质性差异、保证分类准确率的同时，使得同一类别标签下不同媒体数据的特征尽可能相似。