模型训练方法及装置、存储介质、计算设备
基本信息
申请号 | CN202011415641.5 | 申请日 | - |
公开(公告)号 | CN112784677A | 公开(公告)日 | 2021-05-11 |
申请公布号 | CN112784677A | 申请公布日 | 2021-05-11 |
分类号 | G06K9/00;G06K9/62;G06N3/08;G06N3/04 | 分类 | 计算;推算;计数; |
发明人 | 段魁;蔡涛;陈新泽;黄冠;都大龙 | 申请(专利权)人 | 上海芯翌智能科技有限公司 |
代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 张振军 |
地址 | 200434 上海市虹口区水电路1388号10层 | ||
法律状态 | - |
摘要
摘要 | 一种模型训练方法及装置、存储介质、计算设备,模型训练方法包括:将训练数据输入至构建好的基准模型和老师模型,基准模型的网络层数小于老师模型的网络层数;获取基准模型针对训练数据的第一输出结果和老师模型针对训练数据的第二输出结果;基于每一类别的第一分类概率生成非该类别的第三分类概率,以及基于每一类别第二分类概率生成非该类别的第四分类概率;利用每一类别下的第一概率分布和第二概率分布计算KL散度,以及计算基准模型自身的误差;利用KL散度以及基准模型自身的误差在基准模型中进行反向传播,以用于调整基准模型的网络参数。本发明技术方案能够提升模型分类效果的准确性和实时性。 |
