端到端语音识别模型的训练方法及系统
基本信息
申请号 | CN201910853470.5 | 申请日 | - |
公开(公告)号 | CN110556100B | 公开(公告)日 | 2021-09-17 |
申请公布号 | CN110556100B | 申请公布日 | 2021-09-17 |
分类号 | G10L15/06 | 分类 | 乐器;声学; |
发明人 | 俞凯;钱彦旻;黄明坤;卢怡宙;王岚 | 申请(专利权)人 | 上海交大知识产权管理有限公司 |
代理机构 | 北京商专永信知识产权代理事务所(普通合伙) | 代理人 | 黄谦;车江华 |
地址 | 215123 江苏省苏州市苏州工业园区新平街388号腾飞创新园14栋 | ||
法律状态 | - |
摘要
摘要 | 本发明公开一种端到端语音识别模型的训练方法,所述端到端语音识别模型包括编码器和解码器,所述方法包括:预先训练得到声学模型和交叉熵语言模型;基于所述声学模型初始化所述端到端语音识别模型的编码器;根据所述交叉熵语言模型初始化所述端到端语音识别模型的解码器;对初始化之后的所述端到端语音识别模型进行训练。采用多阶段预训练的方式,避免了模型训练早期的长时间缓慢学习阶段,从而极大削减模型训练时间。同时这种策略没有超参数需要调优,相对于现有技术,避免了大量繁琐的超参数调优。 |
