多精度神经网络模型实现方法及系统

基本信息

申请号 CN202110753398.6 申请日 -
公开(公告)号 CN113469349A 公开(公告)日 2021-10-01
申请公布号 CN113469349A 申请公布日 2021-10-01
分类号 G06N3/063(2006.01)I 分类 计算;推算;计数;
发明人 鲍丹;季圣洁;沈沙 申请(专利权)人 合肥酷芯微电子有限公司
代理机构 上海段和段律师事务所 代理人 黄磊;郭国中
地址 200082上海市杨浦区淞沪路308号501室
法律状态 -

摘要

摘要 本发明提供了一种多精度神经网络模型实现方法及系统,包括:获取硬件加速器的算子约束条件,生成多精度神经网络模型的计算图算子配置信息;对多精度神经网络模型进行结构分析,结合计算图算子配置信息得到不同数值精度与计算图算子的对应关系;根据不同数值精度与计算图算子的对应关系,对多精度神经网络模型的参数进行调整,获取多精度神经网络模型在降低数值精度后的性能补偿;根据参数调整后的多精度神经网络模型,产生各层次配置信息,根据各层次配置信息将多精度神经网络模型部署到硬件加速器。本发明在将复杂神经网络部署到特定硬件加速器时,保证算子采用不同的数值精度组合,以获得优化的功耗、效率和存储带宽,降低模型部署难度。