首页/ 南强智视（厦门）科技有限公司/ 专利详情

一种基于注意力机制的图像目标预测方法

基本信息

申请号 CN202011222985.4 申请日 -
公开（公告）号 CN112308081A 公开（公告）日 2021-02-02
申请公布号 CN112308081A 申请公布日 2021-02-02
分类号 G06K9/34;G06K9/62;G06N3/04;G06N3/08 分类 计算；推算；计数;
发明人 许金泉;王振宁;王溢;蔡碧颖 申请（专利权）人 南强智视（厦门）科技有限公司
代理机构 泉州市潭思专利代理事务所（普通合伙） 代理人 廖仲禧;麻艳
地址 361000 福建省厦门市湖里区火炬高新区软件园创新大厦A区402
法律状态 -

摘要

摘要 本发明公开一种基于注意力机制的图像目标预测方法，用于在RGB图像中获取描述语言针对的物体的掩膜；包括如下步骤：提取RGB图像三个尺度的视觉特征；提取描述语言的语言特征；将视觉特征和语言特征进行多模态融合；基于多模态特征以及语言特征，计算四个映射矩阵；然后，通过矩阵运算以及激活函数得到两个注意力图；接着，通过注意力变换计算得到注意力矩阵：最后，将得到的注意力矩阵与原始矩阵进行相加来更新原始矩阵：叠加分组注意力模块，然后通过1x1的卷积神经网络，即得到预测的掩膜。此种方法通过引入受监督的注意力机制，能够增强复杂场景下的推理能力，从而提高检测的精度。