基于渐进式量化和Hessian信息的神经网络混合量化方法专利查询专利号|摘要-满商公司网

基于渐进式量化和Hessian信息的神经网络混合量化方法

基本信息

申请号	CN202010915248.6	申请日	-
公开（公告）号	CN112183742A	公开（公告）日	2021-01-05
申请公布号	CN112183742A	申请公布日	2021-01-05
分类号	G06N3/08;G06N3/02	分类	计算；推算；计数;
发明人	王振宁;许金泉;王溢;蔡碧颖	申请（专利权）人	南强智视（厦门）科技有限公司
代理机构	泉州市潭思专利代理事务所（普通合伙）	代理人	廖仲禧;麻艳
地址	361000 福建省厦门市湖里区火炬高新区软件园创新大厦A区402
法律状态	-

摘要

本发明公开一种基于渐进式量化和Hessian信息的神经网络混合量化方法，步骤是：给定图像‑标签对集合，划分样本集和校准集；定义神经网络每层可选的量化精度范围；随机选择量化层做降bit量化，重复采样n次，得到n个基础的混合精度模型；以校准集中的图像‑标签对作为输入，对所有候选的混合精度神经网络模型进行一次前向过程；利用Adam二阶Momentum信息计算Hessian近似值；再计算性能评价指标，将n个指标排序，选择最小值对应混合精度策略作为当前步次下性能最好的混合精度超参组合，计算模型的计算成本，再对当前的混合精度网络模型做训练；迭代至满足结束条件。此方法能够极大地减少每一步次中的可优化的混合精度搜索空间，同时提高量化模型的性能评估效率。