一种基于骨骼和RGB帧融合的行为识别方法、装置及系统专利查询专利号|摘要-满商公司网

一种基于骨骼和RGB帧融合的行为识别方法、装置及系统

基本信息

申请号	CN202110242365.5	申请日	-
公开（公告）号	CN112906604A	公开（公告）日	2021-06-04
申请公布号	CN112906604A	申请公布日	2021-06-04
分类号	G06K9/00;G06K9/62;G06T17/00	分类	计算；推算；计数;
发明人	黄炜;颜天信	申请（专利权）人	安徽省科亿信息科技有限公司
代理机构	合肥律众知识产权代理有限公司	代理人	赵娟
地址	230000 安徽省合肥市黄山路602号国家大学科技园创业孵化中心
法律状态	-

摘要

本发明公开了一种基于骨骼和RGB帧融合的行为识别方法、装置及系统，该方法包括利用RGB相机获取人体动作的RGB视频和深度相机获取深度图像和3D骨骼数据，建立行为识别数据集；将行为识别数据集进行预处理；利用时空图卷积神经网络ST‑GCN提取骨骼数据特征，利用轻量级GhostNet提取RGB帧数据特征；搭建骨骼和RGB帧在特征层面交互的网络；用训练集训练网络，优化参数，得到基于骨骼和RGB帧融合的行为识别网络；将所要识别的人体动作信息输入到行为识别网络进行预测，输出对应的动作类别。本发明提供了一种基于骨骼和RGB帧融合的行为识别方法，能够充分挖掘骨骼和RGB帧的互补信息，以一种轻量化的方式进一步提高了动作识别的准确率。