基于预训练模型变种的新闻文本分类方法及系统
基本信息
| 申请号 | CN202111222503.X | 申请日 | - |
| 公开（公告）号 | CN113987171A | 公开（公告）日 | 2022-01-28 |
| 申请公布号 | CN113987171A | 申请公布日 | 2022-01-28 |
| 分类号 | G06F16/35（2019.01）I;G06F16/951（2019.01）I;G06F40/205（2020.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 黄孝喜;童伟;王荣波;谌志群;姚金良 | 申请（专利权）人 | 绍兴达道生涯教育信息咨询有限公司 |
| 代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 傅朝栋;张法高 |
| 地址 | 312399浙江省绍兴市上虞区曹娥街道江西路2288号浙大网新科技园A2幢808室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于预训练模型变种的新闻文本分类方法及系统，属于文本分类领域。本发明采用BERT和RNN复合模型对数据集中的特征进行有效提取，对于已经经过预训练的BERT模型，其广泛适用于下游任务的各个集合，不需要利用重复数据进行训练，同时基于self‑attention机制可以有效的可以不仅可以得到源端与目标端词与词之间的依赖关系，同时还可以有效获取源端或目标端自身词与词之间的依赖关系。在此基础上，引入了RNN模型，用于捕捉长距离文本依赖上信息丢失的问题，对结果进行特征融合，在新闻文本分类上取得了较为理想的效果。 |
