视频自监督表征学习方法、装置、计算机设备和介质

基本信息

申请号 CN202111017638.2 申请日 -
公开(公告)号 CN113469289A 公开(公告)日 2021-10-01
申请公布号 CN113469289A 申请公布日 2021-10-01
分类号 G06K9/62(2006.01)I;G06N3/08(2006.01)I 分类 计算;推算;计数;
发明人 徐行;张静然;沈复民;邵杰;姚亚洲;申恒涛 申请(专利权)人 成都考拉悠然科技有限公司
代理机构 成都市集智汇华知识产权代理事务所(普通合伙) 代理人 罗艳
地址 610095四川省成都市中国(四川)自由贸易试验区成都高新区天府五街200号4号楼A区10层1001、1002、1003室
法律状态 -

摘要

摘要 本申请提供一种视频自监督表征学习方法、装置、计算机设备和介质,包括:获取大量视频样本,对每个视频样本进行采样、图像增强变换和特征提取,生成两个视频特征序列,基于每个视频特征序列构建时域图、对每个时域图进行图视角的对比增强,得到两个增强特征序列;构建视频自监督表征提取模型;采用增强特征序列对视频自监督表征提取模型进行训练和优化,得到训练好的视频自监督表征提取模型。本申请提供的视频自监督表征学习方法,无需人工标签,在图像领域对比学习的基础上扩展成序列帧的情形,并合理利用相邻帧间的相关性,高效的学习视频中视觉信息的特征,为下游视频任务服务。