一种时空超分辨率实时重建方法及系统

基本信息

申请号 CN202111513205.6 申请日 -
公开(公告)号 CN114170085A 公开(公告)日 2022-03-11
申请公布号 CN114170085A 申请公布日 2022-03-11
分类号 G06T3/40(2006.01)I;G06T5/50(2006.01)I;G06V10/774(2022.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I 分类 计算;推算;计数;
发明人 敖海;朱文康;李源昕;冯雨 申请(专利权)人 芯动微电子科技(珠海)有限公司
代理机构 - 代理人 -
地址 519000广东省珠海市高新区唐家湾镇港湾一号创意云端B栋905芯动科技
法律状态 -

摘要

摘要 本发明公开了一种时空超分辨率实时重建方法及系统。该方法包括:构建网络模型;构建网络模型包括:对输入帧进行特征提取和特征拼接,得到输入帧的特征图以及输入帧的拼接特征图;基于输入帧的特征图以及输入帧的拼接特征图进行偏移场补偿,得到偏移场补偿之后的特征图;基于偏移场补偿之后的特征图和输入帧的特征图进行特征融合,得到融合之后的特征图;基于融合之后的特征图,生成超分辨率重构图像。本发明能有效解决当前VFI+VSR的“两步法”应用场景下,两个网络计算量庞大、实时性差、人为割裂VFI和VSR内在联系的问题,最后可以实时得到高分辨率、高帧率的视频输出。