一种基于超关系学习网络的场景图生成方法

基本信息

申请号 CN202110309285.7 申请日 -
公开(公告)号 CN113065587A 公开(公告)日 2021-07-02
申请公布号 CN113065587A 申请公布日 2021-07-02
分类号 G06K9/62;G06N3/04;G06N3/08 分类 计算;推算;计数;
发明人 俞俊;陈志;刘晓鹏;张健;张驰;詹忆冰 申请(专利权)人 人民日报社
代理机构 杭州君度专利代理事务所(特殊普通合伙) 代理人 朱月芬
地址 310018 浙江省杭州市下沙高教园区2号大街
法律状态 -

摘要

摘要 本发明公开了一种基于超关系学习的场景图生成方法。本发明包括以下步骤:1、通过目标自注意力网络加强目标交互,融合目标的特征。2、通过目标‑关系注意力网络加强目标和关系的交互,融合目标和关系之间的特征。3、通过超关系注意力网络去整合超关系的传递推理。4、模型训练,将目标损失函数和关系损失函数放入优化器,通过反向传播算法对网络参数进行梯度回传和更新。本发明提出一种针对场景图生成的深度神经网络,特别是提出一种超关系学习网络,充分利用目标和关系之间的交互和传递推理,提高了场景图生成中关系的推理能力,并且在场景图生成领域中的性能得到了很大的提升。