一种基于多模态差异性融合网络的RGB-D显著性目标检测方法
基本信息
| 申请号 | CN202210308520.3 | 申请日 | - |
| 公开（公告）号 | CN114693952A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114693952A | 申请公布日 | 2022-07-01 |
| 分类号 | G06V10/46（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I;G06V10/774（2022.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 夏晨星;段松松;黄荣梅;孙延光;段秀真;王晶晶 | 申请（专利权）人 | 安徽理工大学 |
| 代理机构 | - | 代理人 | - |
| 地址 | 232001安徽省淮南市山南新区泰丰大街168号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种基于多模态差异性融合网络的RGB‑D显著性目标检测方法，属于图像显著性检测技术，所述方法利用Swin Transformer提取包含全局上下文信息的RGB和Depth特征，用于给出场景的显著性目标推理。本发明主要通过探索RGB和Depth模态之间的差异性分析显著性在这两个模态的联系和区别，并设计一个差异性融合网络融合跨模态特征用于捕获完整的显著目标。本发明包括以下几个步骤：（1）采用Swin Transformer提取跨模态特征；（2）使用双向融合方式融合RGB和Depth特征生成Fusion流；（3）使用三流差异性监督机制获取模态之间差异性；（4）利用该差异性融合跨模态特征；（5）使用目级联聚合解码器对融合的跨模态特征进行显著性的推理和解码，生成预测的显著性图。 |
