首页/ 杭州艾耕科技有限公司/ 专利详情

一种新型的优化语言生成模型输出未知字符的方法

基本信息

申请号 CN202010935605.5 申请日 -
公开（公告）号 CN112115713A 公开（公告）日 2020-12-22
申请公布号 CN112115713A 申请公布日 2020-12-22
分类号 G06F40/284(2020.01)I 分类 计算；推算；计数;
发明人 陈一圣;罗学优 申请（专利权）人 杭州艾耕科技有限公司
代理机构 杭州天昊专利代理事务所（特殊普通合伙） 代理人 杭州艾耕科技有限公司
地址 310052浙江省杭州市滨江区六和路368号一幢（北）三楼D3052室
法律状态 -

摘要

摘要 本发明公开了一种新型的优化语言生成模型输出未知字符的方法，包括以下步骤：(1)向语言生成模型中输入某一或者某些词汇，将当前词汇输入解码器；(2)解码器计算下一个词的概率分布；(3)在得到下一个词概率分布之后，对unk增加一个概率惩罚项；概率惩罚项即在预测下一个词之前先将unk的预测概率改为零；(4)根据步骤(3)调整后的概率分布结果，选择概率最大的词汇作为预测结果进行输出；本发明的优化方法和模型本身无关，无论是经典的LSTM模型或者是现在比较常用的transformer生成模型，都可以使用这一方法对unk问题进行优化，且都可以达到较好的效果。