一种行为识别方法、电子设备及存储介质
基本信息
| 申请号 | CN202210284756.8 | 申请日 | - |
| 公开（公告）号 | CN114724240A | 公开（公告）日 | 2022-07-08 |
| 申请公布号 | CN114724240A | 申请公布日 | 2022-07-08 |
| 分类号 | G06V40/20（2022.01）I;G06V20/40（2022.01）I;G06V20/62（2022.01）I;G06V10/774（2022.01）I;G06V10/764（2022.01）I;G06V10/82（2022.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 杨帆;冯帅;白立群;胡建国 | 申请（专利权）人 | 小视科技（江苏）股份有限公司 |
| 代理机构 | 北京德崇智捷知识产权代理有限公司 | 代理人 | - |
| 地址 | 210000江苏省南京市江宁区高新园龙眠大道568号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种行为识别方法、电子设备及存储介质，其中行为识别方法包括：获取已标注和未标注数据，并分别对获取的已标注和未标注数据进行预处理；构建大模型和小模型，使用大模型对小模型进行蒸馏训练；大模型采用第一编码器和解码器结构，包含五个分支，分别为文本特征分支、音频特征分支、视频帧预测分支、分类器分支以及视频序列对比学习分支；小模型蒸馏部分仅由第二编码器构成，通过大模型蒸馏训练第二编码器的参数；采用训练获得的大模型和/或小模型，对行为进行识别。使用音频、文本及视频帧等多模态信息产生优化目标，为模型做监督，使得预训练网络具有更加均衡的特征提取能力，可以高效的应用于下游的子任务中。 |
