首页/ 中国中医科学院针灸研究所/ 专利详情

用于针灸的基于深度学习的多模态情绪分析方法及系统

基本信息

申请号 CN202010724202.6 申请日 -
公开（公告）号 CN111881812B 公开（公告）日 2021-10-08
申请公布号 CN111881812B 申请公布日 2021-10-08
分类号 G06K9/00（2006.01）I;G06K9/46（2006.01）I;G06K9/62（2006.01）I;G06N3/04（2006.01）I 分类 计算；推算；计数;
发明人 荣培晶;李少源;李亮 申请（专利权）人 中国中医科学院针灸研究所
代理机构 北京精金石知识产权代理有限公司 代理人 杨兰兰
地址 100700北京市东城区东直门内南小街16号
法律状态 -

摘要

摘要 本发明提供了一种用于针灸的基于深度学习的多模态情绪分析方法及系统，属于情绪识别技术领域。本发明对面部表情特征采用Gabor小波变换进行特征提取，对脑电信号采用UPLBP进行特征提取，进行降维处理，然后将面部表情特征和脑电信号特征采用稀疏化线性融合，融合成为一个统一的、规范化的特征向量，并特征向量变换为张量形式，输入CNN‑LSTM网络进行训练，去除冗余信息并得到预测情绪分类信息，通过预测情绪分类信息与实际情绪分类信息对比，计算网络的损失函数和正确率。本发明通过将表情特征和脑电信号特征进行融合，去除冗余信息，经过CNN‑LSTM网络进行训练，得到预测情绪分类信息，提高了情绪识别准确率。