一种基于多助教模型知识蒸馏训练的文本分类方法
基本信息
| 申请号 | CN202210329290.9 | 申请日 | - |
| 公开（公告）号 | CN114676256A | 公开（公告）日 | 2022-06-28 |
| 申请公布号 | CN114676256A | 申请公布日 | 2022-06-28 |
| 分类号 | G06F16/35（2019.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 高尚兵;张骏强;苏睿;王媛媛;张海艳;马甲林;张正伟;朱全银 | 申请（专利权）人 | 淮阴工学院 |
| 代理机构 | 南京经纬专利商标代理有限公司 | 代理人 | - |
| 地址 | 210000江苏省淮安市北京北路89号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明专利涉及一种基于多助教模型知识蒸馏训练的文本分类方法，首先根据样本数据，分别针对主教师模型、副教师模型进行训练，接着根据样本数据，结合副教师模型与主教师模型对助教模型的联合渐进蒸馏，同时副教师模型与助教模型之间进行相互学习；再通过对副教师模型与助教模型联合渐进蒸馏得到第一学生模型，并继续对第一学生模型与副教师模型进行联合蒸馏，得到第二学生模型与第三学生模型，并相互学习；最后得到文本分类精度高的第一学生模型、推理速度快的第三学生模型、以及处于两者之间水平的第二学生模型；在实际应用中，将文本输入相应学生模型，得到相应类型下的文本分类结果，有效加快了模型推理速度，提高学生模型文本分类准确度。 |
