首页/ 成都嗨翻屋科技有限公司/ 专利详情

一种基于seq2seq网络的歌词对齐方法及系统

基本信息

申请号 CN202010059082.2 申请日 -
公开（公告）号 CN111259188A 公开（公告）日 2020-06-09
申请公布号 CN111259188A 申请公布日 2020-06-09
分类号 G06F16/61(2019.01)I 分类 计算；推算；计数;
发明人 尹学渊;刘鑫忠;江天宇 申请（专利权）人 成都嗨翻屋科技有限公司
代理机构 成都睿道专利代理事务所（普通合伙） 代理人 成都嗨翻屋科技有限公司
地址 610041四川省成都市高新区益州大道中段722号1幢1单元12层1201号
法律状态 -

摘要

摘要 本发明公开了一种基于seq2seq网络的歌词对齐方法及系统，方法包括：对歌词进行处理得到歌词向量，对音频进行处理得到起止时间与歌词对应的人声频谱图；采用seq2seq网络模型对歌词向量和对应的频谱图进行处理，得到输入歌词的注意力矩阵；将注意力矩阵整合解析为字符级别的对齐结果，得到歌词每个字的开始时间和结束时间。系统包括数据处理模块对歌词进行处理得到歌词向量，对音频进行处理得到起止时间与歌词对应的人声频谱图；数据预测模块采用网络模型对歌词向量和对应的频谱图进行处理，得到输入歌词的注意力矩阵；对齐结果解析模块用于将注意力矩阵整合解析为字符级别的对齐结果，得到歌词每个字的开始时间和结束时间。