基于时空图的人体骨骼动作识别方法

基本信息

申请号 CN202210424128.5 申请日 -
公开(公告)号 CN114550308B 公开(公告)日 2022-07-05
申请公布号 CN114550308B 申请公布日 2022-07-05
分类号 G06V40/20(2022.01)I;G06V10/42(2022.01)I;G06V10/44(2022.01)I;G06V10/77(2022.01)I;G06V10/80(2022.01)I;G06V10/82(2022.01)I;G06K9/62(2022.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I 分类 计算;推算;计数;
发明人 邹茂扬;万辉帆;潘光晖 申请(专利权)人 成都信息工程大学
代理机构 西安正华恒远知识产权代理事务所(普通合伙) 代理人 -
地址 610225四川省成都市双流区西南航空港经济开发区学府路一段24号
法律状态 -

摘要

摘要 本发明公开了一种基于时空图的人体骨骼动作识别方法,包括以下步骤:S1、获取骨骼数据,并对所述骨骼数据进行预处理,得到二阶数据信息;S2、将二阶数据信息输入多分支网络,得到骨骼数据提取信息;S3、将骨骼数据提取信息输入时空特征提取网络,得到骨骼数据的时空特征信息;S4、将骨骼数据的时空特征信息依次输入全局平均池化层和全连接层,得到置信度最高的动作,完成人体骨骼动作识别。本发明设计了时空图模块引入Transformer结构,可以更好捕捉若干帧内全局的时空关系,利用其注意力机制自适应的学习跨帧节点间关联性的强度,并且利用图卷积根据固定图结构捕捉局部的空间特征。两者信息相互补充,从而使得信息能够直接的跨时空交流。