一种RGB-D双模态特征融合的语义分割方法
基本信息
| 申请号 | CN202210330691.6 | 申请日 | - |
| 公开（公告）号 | CN114693929A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114693929A | 申请公布日 | 2022-07-01 |
| 分类号 | G06V10/26（2022.01）I;G06V10/44（2022.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 方艳红;罗盆琳 | 申请（专利权）人 | 西南科技大学 |
| 代理机构 | - | 代理人 | - |
| 地址 | 621010四川省绵阳市涪城区青龙大道中段59号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出一种RGB‑D双模态特征融合语义分割方法。首先，使用轻量化的ResNet34架构作为双分支编码主干，分四个阶段提取不同模态特征信息，逐层将输出的不同模态特征图传入双模态特征融合结构，通过注意力感知需要加强和削减的位置和空间特征，融合后的特征送入跳跃链接模块，为解码网络提供浅层细节信息；然后，采用双注意上下文模块丰富最底层特征图全局信息并连接解码器；最后，将来自编码器子网的浅层、低层、细粒度特征与来自解码器子网的深度、语义、粗粒度的相同尺度特征图结合在一起，获取包含低级空间和高级语义信息的全局特征。本发明能充分利用RGB‑D图像的互补特征，得到优异的语义分割性能，分割效果较好，运行效率高，具有较好的鲁棒性。 |
