基于神经网络的实时光照估计与渲染方法及系统
基本信息
| 申请号 | CN202110639919.5 | 申请日 | - |
| 公开（公告）号 | CN113096228A | 公开（公告）日 | 2021-07-09 |
| 申请公布号 | CN113096228A | 申请公布日 | 2021-07-09 |
| 分类号 | G06T15/10（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 徐迪;李臻;毛文涛;孙立 | 申请（专利权）人 | 上海影创信息科技有限公司 |
| 代理机构 | 上海段和段律师事务所 | 代理人 | 李佳俊;郭国中 |
| 地址 | 200120上海市浦东新区自由贸易试验区芳春路400号1幢301-462室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种基于神经网络的实时光照估计与渲染系统，包括相机读取模块：用于端侧设备的实时相机视频流获取；神经网络推理模块：利用轻量级网络用于生成光照估计的结果，利用球谐光波系数去渲染虚拟物体；虚拟物体加载模块：用于加载三维虚拟物体，作为光照结果渲染的对象；球谐光波实时渲染与融合模块：利用球谐光波系数去渲染虚拟物体用于实现跨平台的渲染与融合。本发明通过采用轻量级神经网络，根据视频序列帧计算出球谐光波系数，从而达成实时高效的光照估计；同时，通过采用虚实融合的渲染模块，对三维虚拟物体进行实时渲染，并将其显示于相机视频流之前，从而实现了虚拟物体与真实背景的实时融合。 |
