一种优化低比特模型训练的方法
基本信息
| 申请号 | CN202011617715.3 | 申请日 | - |
| 公开（公告）号 | CN114692815A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114692815A | 申请公布日 | 2022-07-01 |
| 分类号 | G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张东 | 申请（专利权）人 | 合肥君正科技有限公司 |
| 代理机构 | 北京嘉东律师事务所 | 代理人 | - |
| 地址 | 230088安徽省合肥市高新区望江西路800号合肥高新股份有限公司C-3研发楼9层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提出一种优化低比特模型训练的方法，旨在克服上述现有技术中存在的缺陷，解决现有2bit模型在训练过程中精度损失严重和难以收敛的问题。所述方法包括以下步骤：S1，全精度模型训练：基于数据集训练一个全精度模型；S2，低比特模型训练：然后再依次训练4bit模型、2bit模型，并且在不同的位宽下采用不同的权重衰减系数和优化器。 |
