注意力引导多模态特征融合的图像语义分割方法及装置专利查询专利号|摘要-满商公司网

注意力引导多模态特征融合的图像语义分割方法及装置

基本信息

申请号	CN202111658857.9	申请日	-
公开（公告）号	CN114372986A	公开（公告）日	2022-04-19
申请公布号	CN114372986A	申请公布日	2022-04-19
分类号	G06T7/10（2017.01）I;G06V10/40（2022.01）I;G06K9/62（2022.01）I;G06V10/80（2022.01）I	分类	计算；推算；计数;
发明人	钦闯;邹文斌;田时舜;李霞;邹辉	申请（专利权）人	慧视创新（深圳）有限公司
代理机构	深圳市恒申知识产权事务所（普通合伙）	代理人	廖厚琪
地址	518000广东省深圳市南山区粤海街道南海大道3688号
法律状态	-

摘要

根据本发明实施例公开的注意力引导多模态特征融合的图像语义分割方法及装置，对提取的彩色图特征以及深度图特征进行混合；在通道和空间两个维度上对混合特征进行精炼并叠加到输入特征中，消除深度图噪声，自适应对齐两部分特征；为进一步互补地融合两部分特征，通过获取两种特征对应位置的重要程度，自适应学习彩色图和深度图之间的互补关系，实现多模态特征的互补融合；为了在解码阶段引入重要的空间细节信息，采用多层特征融合方法引入编码阶段的融合特征，增加更多细节信息，使得分割时有更多信息关注到边界区域，实现边界区域的精细分割，从而生成更为精准高效的语义分割图。由此，有效提高了RGB‑D图像语义分割模型的鲁棒性及分割精度。