神经网络的量化方法及系统

基本信息

申请号 CN201911420241.0 申请日 -
公开(公告)号 CN111178514A 公开(公告)日 2020-05-19
申请公布号 CN111178514A 申请公布日 2020-05-19
分类号 G06N3/04;G06N3/08 分类 计算;推算;计数;
发明人 韩璐 申请(专利权)人 翱捷智能科技(上海)有限公司
代理机构 上海硕力知识产权代理事务所(普通合伙) 代理人 翱捷智能科技(上海)有限公司
地址 201300 上海市浦东新区南汇新城镇环湖西二路888号C楼
法律状态 -

摘要

摘要 本发明实施例提出神经网络的量化方法及系统,其方法包括步骤:(1)获取神经网络参数,在原网络前向传播中将卷积层和BN层进行融合,以获得新的待量化权重和待量化偏置,同时保存每层激活输出数据;(2)对融合后获得的神经网络参数和数据分布进行量化处理;(3)将量化处理后获得的量化参数作为量化后新网络前向传播的参数,形成新的量化网络。本发明能够有效平衡神经网络量化缩放尺度过大或过小产生的各种问题,在节约硬件资源的同时,提高运算速度。