首页/ 北京先声智能科技有限公司/ 专利详情

一种基于注意力共享Transformer的语法改错模型

基本信息

申请号 CN202010482641.0 申请日 -
公开（公告）号 CN111859927A 公开（公告）日 2020-10-30
申请公布号 CN111859927A 申请公布日 2020-10-30
分类号 G06F40/253(2020.01)I 分类 计算；推算；计数;
发明人 徐书尧;陈进;秦龙 申请（专利权）人 北京先声智能科技有限公司
代理机构 北京中企讯专利代理事务所（普通合伙） 代理人 北京先声智能科技有限公司
地址 100000北京市海淀区上庄乡上庄村北京市西郊农场机关10幢平房1027
法律状态 -

摘要

摘要 本发明涉及神经翻译的语法改错模型技术领域，尤其是一种基于注意力共享Transformer的语法改错模型，包括编码器与解码器，所述编码器由多层结构组成，每层结构均包含自注意力层与前馈神经网络，数据输入自注意力层，自注意力层进行计算后输出处理数据至前馈神经网络，前馈神经网络输出处理结果至解码器；所述解码器由自注意力层、编码器解码器注意力层与前馈神经网络构成，解码器的前馈神经网络输出计算数据，并通过Softmax映射到词汇表上的概率分布，本发明的语法改错模型，注意力共享机制下，语法改错模型的效果(F0.5)几乎与基线系统相同，但却可以减少计算量，加快推理速度。