首页/ 蓝海（福建）信息科技有限公司/ 专利详情

一种深度融合面部表情和语音的驾驶员路怒症识别方法

基本信息

申请号 CN202011164619.8 申请日 -
公开（公告）号 CN113591525A 公开（公告）日 2021-11-02
申请公布号 CN113591525A 申请公布日 2021-11-02
分类号 G06K9/00（2006.01）I;G06K9/62（2006.01）I;G10L25/24（2013.01）I;G10L25/30（2013.01）I;G10L25/45（2013.01）I;G10L25/63（2013.01）I;G06N3/04（2006.01）I 分类 计算；推算；计数;
发明人 柳欣;傅顺开;彭淑娟;曾省明;陈悦 申请（专利权）人 蓝海（福建）信息科技有限公司
代理机构 厦门市首创君合专利事务所有限公司 代理人 连耀忠;李艾华
地址 361000福建省厦门市软件园三期诚毅北大街62号109单元0011号
法律状态 -

摘要

摘要 本发明一种深度融合面部表情和语音的驾驶员路怒症识别方法，包括：从驾驶员面部视频影像信息中提取出驾驶员的面部影像信息和语音信息；对面部影像帧信息进行预处理并输入到多层卷积神经网络中获得面部表情特征；对语音信息首先提取其梅尔倒谱系数及其一阶和二阶系数值进行初始特征提取，并拼接2段语音片段初始特征输入到全连接层网络中获得与面部表情帧对应的判别性语音帧特征；将得到的面部帧表情特征和语音帧特征进行低秩双线性池化融合获得融合特征；对面部表情特征、语音特征和融合特征进行决策融合后获取到最终的路怒症识别结果。本发明在复杂驾驶环境下，依然能实现高精度地输出驾驶员愤怒症识别结果，进而有效地进行安全驾驶预警。