一种实时人脸特征传输的虚实感知互动方法
基本信息
| 申请号 | CN202111042102.6 | 申请日 | - |
| 公开（公告）号 | CN113610057A | 公开（公告）日 | 2021-11-05 |
| 申请公布号 | CN113610057A | 申请公布日 | 2021-11-05 |
| 分类号 | G06K9/00（2006.01）I;G06K9/62（2006.01）I;G06T19/00（2011.01）I;G06N3/04（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 曹杰;杨帆;范文聪;陈志杰;毛波;申冬琴 | 申请（专利权）人 | 南京徽毅信息科技有限公司 |
| 代理机构 | 南京瑞弘专利商标事务所（普通合伙） | 代理人 | 陈建和 |
| 地址 | 210003江苏省南京市鼓楼区铁路北街128号南京财经大学科技园A座19层1905室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种实时人脸特征传输的虚实感知互动方法，对训练集当中的所有图像的R、G、B三个通道，分别求解每个通道标准化值，采用Opencv库为图片创建了一个4维数组，估计映射到面部结构的68个2D点的坐标位置，估计头部姿态；得到了人脸对于摄像机的旋转角度，将roll、pitch yaw数据用分号切片使用getbonetransform方法传递到Unity中，操控模型的头部跟随摄像头中的人物旋转。本发明实现了基于神经网络的人脸检测，人脸定位与头部姿态估计，进行卡尔曼滤波平滑了数据抖动。将检测到的数据传递到Unity中，实现了虚拟模型实时跟随表演者的面部表情及体态。 |
