一种量化推理超参数大于1时确保推理精度的方法
基本信息
| 申请号 | CN202011622526.5 | 申请日 | - |
| 公开（公告）号 | CN114692877A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114692877A | 申请公布日 | 2022-07-01 |
| 分类号 | G06N5/04（2006.01）I;G06N3/04（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 周飞飞 | 申请（专利权）人 | 合肥君正科技有限公司 |
| 代理机构 | 北京嘉东律师事务所 | 代理人 | - |
| 地址 | 230088安徽省合肥市高新区望江西路800号合肥高新股份有限公司C-3研发楼9层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明一种量化推理超参数大于1时确保推理精度的方法，包括：假设第i层的量化计算如下所示：Xq＝scale（Qf*Qw+bias）然后把scale进行31位定点化运算：其中，增加scale大于1.0的定点化过程，即增加left_shift参数，增加left_shift右移操作值，在对模型超参数量化移位过程中减去left_shift参数，确保网络在scale推理参数能够满足模型的定点化通用性。所述方法旨在修改模型的定点化过程，使得模型能够同时满足scale大于或者小于1的情况。 |
