首页/ 杭州一知智能科技有限公司/ 专利详情

基于局部-整体图推理网络的视频-段落检索方法及系统

基本信息

申请号 CN202110755476.6 申请日 -
公开（公告）号 CN113204674B 公开（公告）日 2021-09-17
申请公布号 CN113204674B 申请公布日 2021-09-17
分类号 G06F16/783（2019.01）I;G06F40/30（2020.01）I;G06N5/04（2006.01）I 分类 计算；推算；计数;
发明人 张鹏程 申请（专利权）人 杭州一知智能科技有限公司
代理机构 杭州求是专利事务所有限公司 代理人 郑海峰
地址 311200浙江省杭州市萧山区启迪路198号杭州湾信息港F座7楼
法律状态 -

摘要

摘要 本发明公开了一种基于局部‑整体图推理网络的视频‑段落检索方法及系统，属于跨模态检索领域，主要包括以下步骤：1）首先对视频和文本（段落）进行预处理。2）针对给定的视频和文本分别使用局部‑整体图推理网络进行编码，得到最终的视频特征和文本特征。3）使用余弦相似度计算视频特征和文本特征之间的相似度。4）根据相似度度量结果进行检索。相比于传统视频‑段落检索的方法，本发明提出将视频和文本分别分解为四层语义结构，并且分别构造成局部图和整体图，进而使用图卷积网络进行图推理操作，本发明在视频‑段落检索中所取得的结果相比于传统方法更好。