一种基于统一双分支网络的细粒度跨媒体检索方法
基本信息
| 申请号 | CN202111344346.X | 申请日 | - |
| 公开（公告）号 | CN113779278A | 公开（公告）日 | 2021-12-10 |
| 申请公布号 | CN113779278A | 申请公布日 | 2021-12-10 |
| 分类号 | G06F16/43（2019.01）I;G06F16/483（2019.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 沈复民;姚亚洲;孙泽人;陈涛;张传一 | 申请（专利权）人 | 南京码极客科技有限公司 |
| 代理机构 | 成都君合集专利代理事务所（普通合伙） | 代理人 | 尹新路 |
| 地址 | 211899江苏省南京市浦口区新北路1号江北国际智谷B栋5层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出了一种基于统一双分支网络的细粒度跨媒体检索方法，采取统一的深度卷积神经网络结构提取初步公共特征，再通过计算量较低的媒体专属分支来修正公共特征所缺失的媒体独立特性。对于统一概率特征分支，不区分媒体类型统一使用交叉熵损失来学习概率特征。对于媒体特征分支，通过为每种媒体类型使用专属的模块来获取各种媒体类型的独立特征。然后，将概率特征和媒体特征相结合，得到最终的公共特征，并用于检索过程。该网络结构采用一个统一的卷积网络作为主干，计算成本相对较低，同时兼顾了每种媒体类型的独立特性，能够有效地提取各种媒体类型的特征。 |
