用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
基本信息
| 申请号 | CN202011107507.9 | 申请日 | - |
| 公开（公告）号 | CN112241789A | 公开（公告）日 | 2021-01-19 |
| 申请公布号 | CN112241789A | 申请公布日 | 2021-01-19 |
| 分类号 | G06N3/08;G06K9/62 | 分类 | 计算；推算；计数; |
| 发明人 | 姚志强;周曦;李连强;梁俊文 | 申请（专利权）人 | 广州云从凯风科技有限公司 |
| 代理机构 | 上海光华专利事务所（普通合伙） | 代理人 | 代玲 |
| 地址 | 511458 广东省广州市南沙区金隆路26号1009房（仅限办公用途） | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种用于轻量化神经网络的结构化剪枝方法,包括：根据神经网络中待剪枝的目标层中的三维张量Filter构建相似度矩阵；基于谱聚类对所述相似度矩阵对应的三维张量Filter进行聚类，得到多个聚类簇；确定每个聚类簇的质心以及同一聚类簇中每个三维张量Filer与所述质心的距离；删除与质心距离超过设定阈值对应的三维张量Filter，得到目标神经网络模型。本发明作为结构化剪枝方法，经过结构化剪枝后的神经网络的权值矩阵之间不存在非结构化稀疏现象，可以直接利用现有的软硬件进行加速，且可以很自然的与其它轻量化神经网络技术，如知识蒸馏、权值量化等联合使用以进一步减少网络冗余。 |
