一种多模态和多尺度融合的候选区域生成方法及相关装置
基本信息
| 申请号 | CN202111655197.9 | 申请日 | - |
| 公开（公告）号 | CN114372944A | 公开（公告）日 | 2022-04-19 |
| 申请公布号 | CN114372944A | 申请公布日 | 2022-04-19 |
| 分类号 | G06T5/50（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈瑞锋;邹文斌;田时舜;李霞 | 申请（专利权）人 | 慧视创新（深圳）有限公司 |
| 代理机构 | 深圳市恒申知识产权事务所（普通合伙） | 代理人 | 廖厚琪 |
| 地址 | 518000广东省深圳市南山区粤海街道南海大道3688号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 根据本发明实施例公开的多模态和多尺度融合的候选区域生成方法及相关装置，引入深度图信息为网络带来丰富的三维几何结构信息，以此来改善单模态候选区域生成算法的局限性。同时，所提出的门机制引导的多模态融合模块考虑了输入图像的噪声和图像质量问题，能够利用模态间的互补特征去弥补另一模态特征中的噪声，提高各模态特征的质量，并且该模块能够在充分聚合有用的多模态信息同时减少冗余特征的引入。此外，为了获取更高质量的多尺度特征，利用流引导的多尺度聚合模块来提高高级语义信息在网络间传递的效率，让每个多尺度特征都能够获取到有用的全局信息，从而生成更准确的候选区域框。 |
