基于深度学习的多模态融合的歌曲情感识别方法
基本信息
| 申请号 | CN201610625990.7 | 申请日 | - |
| 公开（公告）号 | CN106228977B | 公开（公告）日 | 2019-07-19 |
| 申请公布号 | CN106228977B | 申请公布日 | 2019-07-19 |
| 分类号 | G10L15/02;G10L15/06;G10L15/18;G10L15/26 | 分类 | 乐器；声学; |
| 发明人 | 孙晓;陈炜亮;任福继 | 申请（专利权）人 | 青岛类认知人工智能有限公司 |
| 代理机构 | 安徽省合肥新安专利代理有限责任公司 | 代理人 | 陆丽莉;何梅生 |
| 地址 | 266000 山东省青岛市市南区宁夏路288号市南软件园11号楼A座5层502室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于深度学习的多模态耦合的歌曲情感识别方法，其特征是按如下步骤进行：1获取歌曲歌词文本数据和音频语音数据；2对歌词文本内容进行文本特征提取，获得歌词文本信息特征；3提取歌曲语音数据的第一语音特征和第二语音特征并进行第一次融合，获得歌曲语音信息特征；4对歌词文本信息特征和歌曲语音信息特征进行第二次融合，获得歌曲的综合信息特征；5利用深度分类器对综合信息特征进行训练，获得歌曲情感识别模型，以歌曲情感识别模型实现对歌曲的多模态融合的情感识别。本发明能全面结合歌曲的歌词文本信息和歌曲音频信息两个方面的数据信息，从而提高人机交互中的对歌曲情感状态判断的准确度。 |
