一种基于Transformer的中文新闻分类方法专利查询专利号|摘要-满商公司网

一种基于Transformer的中文新闻分类方法

基本信息

申请号	CN202010375567.2	申请日	-
公开（公告）号	CN111666373A	公开（公告）日	2020-09-15
申请公布号	CN111666373A	申请公布日	2020-09-15
分类号	G06F16/33(2019.01)I	分类	计算；推算；计数;
发明人	范梦真;杨芳洲;刘金;罗轶凤;钱卫宁;周傲英	申请（专利权）人	上海瞰点科技有限责任公司
代理机构	上海蓝迪专利商标事务所（普通合伙）	代理人	华东师范大学;上海瞰点科技有限责任公司
地址	200241上海市闵行区东川路500号
法律状态	-

摘要

本发明公开了一种基于Transformer的中文新闻分类方法，其特点是采用可并行的Transformer‑Encoder来对文本序列进行编码，采用“词‑句‑文章”多层的网络来提取新闻的文本信息，利用attention机制来降维得到文章级别的向量，并且结合NER命名实体识别技术引入实体信息来丰富特征，最后融合两部分特征输入分类器，训练得到分类模型，提高分类模型训练的效率和预测的精度。本发明在某领域的文本分类任务上，相比于现有的分类模型，可并行化的序列编码方式降低了模型训练的时间开销，attention机制和加入实体信息提高了模型对重要信息的识别能力，同时，识别了新闻中的实体信息，减少了机器阅读文字的歧义。