一种基于预训练语言模型的多任务学习阅读理解方法
基本信息
| 申请号 | CN202010365779.2 | 申请日 | - |
| 公开（公告）号 | CN111581350A | 公开（公告）日 | 2020-08-25 |
| 申请公布号 | CN111581350A | 申请公布日 | 2020-08-25 |
| 分类号 | G06F16/33(2019.01)I | 分类 | - |
| 发明人 | 王春辉;胡勇 | 申请（专利权）人 | 识因智能科技（北京）有限公司 |
| 代理机构 | 北京中北知识产权代理有限公司 | 代理人 | 识因智能科技（北京）有限公司 |
| 地址 | 102600北京市大兴区宏福路8号1层133室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开一种基于预训练语言模型的多任务学习阅读理解方法。所述方法包括：基于语料库进行训练建立预训练语言模型，利用所述预训练语言模型获得输入文档和问题的上下文感知表示；通过设置由注意力网络构成的交互层融合问题与文档之间的语义信息，得到每一个词的向量表示；进行基于问题是否可答预测任务和答案获取任务的多任务学习，得到问题是否可答的结果及问题答案。本发明通过建立预训练语言模型，能够获得句对之间的蕴含关系；通过设置交互层能够充分融合问题与文档之间的语义信息，使模型具有较好的表达能力；通过进行多任务学习，能够自适应地预测问题是否可答，并获取问题的答案。 |
