一种基于BERT预训练模型的文本摘要生成方法

基本信息

申请号 CN202110287084.1 申请日 -
公开(公告)号 CN113128214A 公开(公告)日 2021-07-16
申请公布号 CN113128214A 申请公布日 2021-07-16
分类号 G06F40/284;G06F40/30;G06F40/253;G06N3/04;G06N3/08 分类 计算;推算;计数;
发明人 文凯;周玲玉;杨航;王宗文 申请(专利权)人 重庆信科设计有限公司
代理机构 重庆市恒信知识产权代理有限公司 代理人 陈栋梁
地址 400065 重庆市南岸区南山街道崇文路2号
法律状态 -

摘要

摘要 本发明请求保护一种基于BERT预训练模型的文本摘要生成方法。该方法包括:将中文短本文数据集进行预处理;利用BERT双向编码特性能更好地获取全局信息,将数据送入BERT预训练模型中进行训练;将实际需要获得摘要的原文本输入BERT预训练模型,使用训练好的参数进行训练,获得最佳词向量;将得到的高质量字向量送入改进后的LeakGAN模型;文本在改进的LeakGAN中进行训练,最终得到摘要输出。本发明使生成器生成更加准确的摘要,提高了摘要的准确性和流畅性。