基于两分支提议网络的弱监督视频时段检索方法及系统
基本信息
| 申请号 | CN202011332463.X | 申请日 | - |
| 公开（公告）号 | CN112417206A | 公开（公告）日 | 2021-02-26 |
| 申请公布号 | CN112417206A | 申请公布日 | 2021-02-26 |
| 分类号 | G06F16/783(2019.01)I;G06F16/735(2019.01)I;G06F16/78(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 童鑫远 | 申请（专利权）人 | 杭州一知智能科技有限公司 |
| 代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 郑海峰 |
| 地址 | 311200浙江省杭州市萧山区启迪路198号杭州湾信息港F座7楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于两分支提议网络的弱监督视频时段检索方法及系统，属于视频检索领域。主要包括如下步骤：1)针对于一组视频、描述文本训练集，根据一个跨模态语言感知过滤器，学习出视频信息和文本信息的联合表征，并生成带文本信息的增强视频流与抑制视频流。2)对于跨模态语言感知过滤器生成的输出，根据一个参数共享的正则化两分支提议网络，输出针对于视频和文本联合表达的时段答案。本发明采用一种使用基于场景的跨模态估计法的语言感知过滤器生成增强视频流和抑制视频流，采用一种新颖的两分支提议网络同时考虑样本间和样本内的对抗，采用提议正则化策略稳定训练过程，有效地改善了模型性能。 |
