一种手语识别和翻译方法
基本信息
| 申请号 | CN202011356115.6 | 申请日 | - |
| 公开（公告）号 | CN112487951A | 公开（公告）日 | 2021-03-12 |
| 申请公布号 | CN112487951A | 申请公布日 | 2021-03-12 |
| 分类号 | G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06F40/58 | 分类 | 计算；推算；计数; |
| 发明人 | 尹啟坊;李凌;刘云云;辜嘉 | 申请（专利权）人 | 深圳市热丽泰和生命科技有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 518000 广东省深圳市南山区招商街道南海大道1077号北科创业大厦601室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明属于手语识别和翻译技术领域，尤其公开了一种手语识别和翻译方法，现提出如下方案，包括特征提取模块、序列学习模块、损失优化模块和解码模块，所述特征提取模块主要负责先后提取每个视频帧的静态特征和相邻帧的连续特征。本发明添加了关键点特征学习部分选择的关键点有8个，其中额头关键点和脖子关键点用来检测头部运动，提高了特定场景下的手语翻译的精度。本发明联合优化损失策略、关键点损失优化函数和CTC损失函数相加作为最终损失函数的损失优化策略，可以直接安装在手机上实时运行，这将不仅仅可以提高产品的易用性，还可以大大减小手语翻译的应用和推广成本。 |
