一种量化推理过程低位宽bias越界处理方法
基本信息
| 申请号 | CN202011617758.1 | 申请日 | - |
| 公开（公告）号 | CN114692876A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114692876A | 申请公布日 | 2022-07-01 |
| 分类号 | G06N5/04（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 周飞飞 | 申请（专利权）人 | 合肥君正科技有限公司 |
| 代理机构 | 北京嘉东律师事务所 | 代理人 | - |
| 地址 | 230088安徽省合肥市高新区望江西路800号合肥高新股份有限公司C-3研发楼9层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明方法旨在剔除模型进行低bit量化过程中合并bias时存在的异常值，确保模型推理精度和训练网络框架保持一致性。提供一种量化推理过程低位宽bias越界处理方法，所述方法包括深度学习卷积浮点型float操作，包括步骤：S1，输入浮点型数据；S2，进行卷积，进行权重合并；S3，进行批量标准化,量化过程中存在对相关参数的合并，会对batchnorm通道gamma值进行单独处理，具体量化时对batchnorm的推导公式如下：假设第i层的量化计算：实际训练过程中对gamm限制在0.1及以上，确保bias不越界；S4，输出浮点型结果。 |
