利用帧-字幕自监督进行多模态视频问答的方法
基本信息
| 申请号 | CN202110017595.1 | 申请日 | - |
| 公开（公告）号 | CN112860945B | 公开（公告）日 | 2022-07-08 |
| 申请公布号 | CN112860945B | 申请公布日 | 2022-07-08 |
| 分类号 | G06F16/783（2019.01）I;G06V10/80（2022.01）I;G06V10/82（2022.01）I;G06V10/771（2022.01）I;G06K9/62（2022.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张宏达;胡若云;沈然;叶上维;丁麒;王庆娟;陈金威;熊剑峰;丁莹;赵洲;陈哲乾;李一夫;丁丹翔;姜伟昊 | 申请（专利权）人 | 国网浙江省电力有限公司 |
| 代理机构 | 杭州华鼎知识产权代理事务所（普通合伙） | 代理人 | - |
| 地址 | 310000浙江省杭州市黄龙路8号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明属于视频问答领域，具体涉及利用帧‑字幕自监督进行多模态视频问答的方法。包括以下步骤：提取视频帧特征、问答特征、字幕特征、字幕建议特征；得到带注意力帧特征、带注意力字幕特征，得到融合特征；基于融合特征计算得到时间注意力得分；利用时间注意力得分计算得到问题的时间边界；利用融合特征与时间注意力得分计算得到问题答案；利用问题的时间边界和问题答案训练神经网络；优化神经网络的网络参数，利用最优神经网络进行视频问答并划定时间边界。本发明没有使用标注代价昂贵的时间标注，而是根据自行设计的时间注意分数生成问题相关的时间边界。另外本发明通过挖掘字幕与对应视频内容之间的联系，得到更为精准的答案。 |
