中文字符和拼音相结合的词向量表示方法、装置、介质
基本信息
申请号 | CN202011356716.7 | 申请日 | - |
公开(公告)号 | CN112464655A | 公开(公告)日 | 2021-03-09 |
申请公布号 | CN112464655A | 申请公布日 | 2021-03-09 |
分类号 | G06F40/284(2020.01)I;G06F40/216(2020.01)I;G06K9/62(2006.01)I;G06N3/08(2006.01)I;G06N3/04(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 姚金良;胡创;王荣波;谌志群;黄孝喜 | 申请(专利权)人 | 绍兴达道生涯教育信息咨询有限公司 |
代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 傅朝栋;张法高 |
地址 | 312399浙江省绍兴市上虞区曹娥街道江西路2288号浙大网新科技园A2幢808室 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种中文字符和拼音相结合的词向量表示方法、装置、介质。该方法包括步骤:S11:将待转换为词向量表示的中文文本中每个中文字符转化为拼音;S12:针对中文文本中每个中文字符,利用预训练的中文字符词嵌入模型,得到中文字符的词向量表示;S13:针对中文文本中每个中文字符的拼音,利用预训练的拼词嵌入模型,得到拼音的词向量表示;S14:针对中文文本中每个中文字符,融合两种词向量表示得到字符融合表示向量。本发明通过中文字符和拼音相合的方法,在可区分同音字的基础上,建立了同音字之间的关系信息,从而能够很好地处理同音字噪声。本发明可以用于但不限于不良信息的过滤。 |
