一种神经网络模型参数压缩方法

基本信息

申请号 CN201911076765.2 申请日 -
公开(公告)号 CN110889204A 公开(公告)日 2020-03-17
申请公布号 CN110889204A 申请公布日 2020-03-17
分类号 G06F30/20;G06N3/04 分类 计算;推算;计数;
发明人 郑勇;陈柱佳;舒毅 申请(专利权)人 北京中科胜芯科技有限公司
代理机构 南京行高知识产权代理有限公司 代理人 北京中科胜芯科技有限公司
地址 100043 北京市石景山区石景山路54号院6号楼4层403-14
法律状态 -

摘要

摘要 本发明涉及一种神经网络模型参数压缩方法,包括:包括剪枝和归一化的线性量化。本发明提供的神经网络模型参数压缩方法,改进传统的线性量化方法,解决了传统线性量化方法所引入的梯度消失问题。结合硬件友好的剪枝方法深度压缩神经网络,避免不规则的稀疏结构所带来的一系列弊端,并完全消除用于记录非零值位置信息的指针开销问题,从而有效提高深度学习处理器的能效。