基于唇语识别的汇编语言编辑器及识别方法专利查询专利号|摘要-满商公司网

基于唇语识别的汇编语言编辑器及识别方法

基本信息

申请号	CN202110071673.6	申请日	-
公开（公告）号	CN112817575A	公开（公告）日	2021-05-18
申请公布号	CN112817575A	申请公布日	2021-05-18
分类号	G06F8/30;G06K9/00;G06N3/04	分类	计算；推算；计数;
发明人	兰星;胡庆浩;冷聪	申请（专利权）人	中科方寸知微（南京）科技有限公司
代理机构	南京泰普专利代理事务所（普通合伙）	代理人	窦贤宇
地址	211000 江苏省南京市江宁区麒麟科技创新园创研路266号人工智能产业园3号楼203B室
法律状态	-

摘要

本发明公开了一种基于唇语识别的汇编语言编辑器及识别方法，包括明确变量名，作为关键字存储在指令集中；划分每条指令的动作，寄存器，进行每一条指令数据的采集。采集的数据都是一条语句，在实时测试的时候，需要整段话的输入，所以对数据集需要做一个扩充；使用设计好的网络对数据集进行端对端的训练，得出模型。对一段视频帧进行唇动判断，将每段话中语句划分出来，过滤指令语句前后的空白帧，提取出每条指令帧序列；将每条指令帧序列作为网络的输入，预测出对应的指令，输出到编辑器上，并且模型的预测和指令帧序列的提取可以异步实现，达到实时的效果。相较于语音识别需要在噪音干扰较小环境下才能作用的缺点，在复杂背景下也可以正常工作。