一种动态调整量化featureclip值的方法
基本信息
| 申请号 | CN202011622493.4 | 申请日 | - |
| 公开（公告）号 | CN114692817A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114692817A | 申请公布日 | 2022-07-01 |
| 分类号 | G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 周飞飞 | 申请（专利权）人 | 合肥君正科技有限公司 |
| 代理机构 | 北京嘉东律师事务所 | 代理人 | - |
| 地址 | 230088安徽省合肥市高新区望江西路800号合肥高新股份有限公司C-3研发楼9层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明相对于传统的relu6能够更加符合模型的层次分布，从而能够充分利用量化位宽。提供一种动态调整量化feature clip值的方法，所述方法是在每一层添加clip_value,动态调整量化的clip值：假设第i层的量化计算如下所示：梯度反传值如下：通过调整的大小，同时训练时对的变量添加l2的正则化，确保值训练时不至于过大，使得模型更易于收敛。 |
