一种结合类词信息的语言模型预训练方法
基本信息
| 申请号 | CN201910775453.4 | 申请日 | - |
| 公开（公告）号 | CN110489555B | 公开（公告）日 | 2022-03-08 |
| 申请公布号 | CN110489555B | 申请公布日 | 2022-03-08 |
| 分类号 | G06F16/35（2019.01）I;G06F40/284（2020.01）I;G06F40/289（2020.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 白佳欣;宋彦 | 申请（专利权）人 | 创新工场（广州）人工智能研究有限公司 |
| 代理机构 | 深圳市智享知识产权代理有限公司 | 代理人 | 王琴;蒋慧 |
| 地址 | 510000广东省广州市黄埔区光谱中路23号A2栋1001房 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及语言处理技术领域，尤其涉及一种结合类词信息的语言模型预训练方法，其包括如下步骤：S1、提供预训练模型及预训练文本；S2、抽取字符串并形成词表；S3、抽取两个句子作为训练语句同时将训练语句分割成单字序列；S4、将步骤S2中的字符串和单字序列中的字进行匹配，并对和单字序列中的字相匹配的字符串进行标记；S5、将单字序列之中选取预设比例的单字进行遮盖或替换，且将遮盖或替换过的训练语句和被标记的字符串同时输入至预训练模型中对预训练模型进行训练并优化；S6、重复步骤S2‑S5直至预训练模型达到设定的优化条件以获得优化后的预训练模型。本发明提供的结合类词信息的语言模型预训练方法及预训练模型在多个下游任务上有更好的表现。 |
