一种建立短文本多层级分类模型的方法和系统专利查询专利号|摘要-满商公司网

一种建立短文本多层级分类模型的方法和系统

基本信息

申请号	CN202111636972.6	申请日	-
公开（公告）号	CN114579737A	公开（公告）日	2022-06-03
申请公布号	CN114579737A	申请公布日	2022-06-03
分类号	G06F16/35（2019.01）I;G06K9/62（2022.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I	分类	计算；推算；计数;
发明人	王亚平;林文辉;王志刚;马兰;李瑞祥;伺彦伟;祁洪波	申请（专利权）人	河北航天信息技术有限公司
代理机构	北京工信联合知识产权代理有限公司	代理人	-
地址	100195北京市海淀区杏石口路甲18号
法律状态	-

摘要

本发明实施例公开了一种建立短文本多层级分类模型的方法和系统，所述方法包括：对同一份短文本数据集，按照设置的不同层级的短文本类别标签进行标注后生成的不同层级的标注数据集，并将其作为输入，对基于公开的预训练模型Bert base后接全连接层建立的分类模型分层级进行训练，生成不同层级的分类模型，并在训练下一层级分类模型时，将上一层级经过微调的预训练模型Bert base的部分训练参数迁移到下一层级初始预训练模型Bert base的对应部分，最后将生成的多层级的分类模型进行组合生成最终的分类模型。所述方法和系统可有效扩增每种类别下的数据总量，解决模型训练的数据稀疏度问题；并对低层级的分类学习，通过迁移高层级分类模型的通用参数提升训练效果。