文本处理模型的训练方法、装置和文本处理方法专利查询专利号|摘要-满商公司网

文本处理模型的训练方法、装置和文本处理方法

基本信息

申请号	CN201910471389.0	申请日	-
公开（公告）号	CN110209817A	公开（公告）日	2019-09-06
申请公布号	CN110209817A	申请公布日	2019-09-06
分类号	G06F16/35（2019.01）I; G06F16/33（2019.01）I; G06F17/27（2006.01）I; G06N3/04（2006.01）I	分类	计算；推算；计数;
发明人	李健铨; 刘小康; 马力群	申请（专利权）人	安徽省泰岳祥升软件有限公司
代理机构	北京弘权知识产权代理事务所（普通合伙）	代理人	逯长明;许伟群
地址	230088 安徽省合肥市高新区习友路3333号中国（合肥）国际智能语音产业园研发中心楼405-5室
法律状态	-

摘要

本申请公开了文本处理模型的训练方法、装置及文本处理方法，所述训练方法应用于多个具有不同任务目标的文本处理模型，多个文本处理模型共享部分隐层。所述方法中，对于每一任务目标，首先将相应训练样本输入至相应文本处理模型中，输出任务目标值；其次根据输出的任务目标值计算预设损失函数的单任务损失值，根据各文本处理模型对应的单任务损失值计算多任务损失值；最后根据多任务损失值，调整每一文本处理模型的参数。多个文本处理模型同时并行学习，通过共享部分隐层来共享多个任务的浅层特征表示，梯度同时反向传播帮助隐层逃离局部极小值，可以提高每个模型的准确性和泛化性。将训练后的文本处理模型用以处理高层任务，可以提高结果准确性。