一种基于乱序重排的自然语言模型预训练方法及电子设备专利查询专利号|摘要-满商公司网

一种基于乱序重排的自然语言模型预训练方法及电子设备

基本信息

申请号	CN201910780239.8	申请日	-
公开（公告）号	CN112487786A	公开（公告）日	2021-03-12
申请公布号	CN112487786A	申请公布日	2021-03-12
分类号	G06F40/211(2020.01)I	分类	计算；推算；计数;
发明人	宋思睿;宋彦	申请（专利权）人	创新工场（广州）人工智能研究有限公司
代理机构	深圳市智享知识产权代理有限公司	代理人	王琴;蒋慧
地址	510000广东省广州市黄埔区光谱中路23号A2栋1001房
法律状态	-

摘要

本发明涉及语言处理技术领域，尤其涉及一种基于乱序重排的自然语言模型预训练方法及电子设备，其包括如下步骤：S1、提供顺序恢复网络及预训练文本；S2、获得词级训练文本或句级训练文本；S3、将词级训练文本的每个词转化为输入词向量或者输入句向量；S4、将输入词向量或输入句向量输入至顺序恢复网络中以获得预测顺序概率分布；S5、根据预测顺序概率分布和词级训练文本的真实顺序对比或者和句级训练文本的真实顺序对比从而对顺序恢复网络进行优化；S6、重复上述步骤S2‑S5直至顺序恢复网络达到设定的优化条件。本发明提供的基于乱序重排的自然语言模型预训练方法及顺序恢复网络从而可在多个层次上提取上下文信息，使得下游任务更加容易进行。