语言模型预训练方法
基本信息
| 申请号 | CN201910268322.7 | 申请日 | - |
| 公开（公告）号 | CN110032644A | 公开（公告）日 | 2019-07-19 |
| 申请公布号 | CN110032644A | 申请公布日 | 2019-07-19 |
| 分类号 | G06F16/35;G06F17/27 | 分类 | 计算；推算；计数; |
| 发明人 | 陈瑶文 | 申请（专利权）人 | 人立方智能科技有限公司 |
| 代理机构 | 北京挺立专利事务所（普通合伙） | 代理人 | 人立方智能科技有限公司 |
| 地址 | 200000 上海市浦东新区中国(上海)自由贸易试验区金湘路225弄11号1635室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种语言模型预训练方法，其包括如下步骤：对模型中的语料按字、子词进行分词；对生成的各分词随即抽取15％进行位置掩盖、并计算掩盖后的语义分布；以独立的门控制单元对模型中的子词混合进行控制；对语义分布和掩盖词的预测进行同步训练。本发明能够明显改善BERT预训练后模型的预测结果。 |
