一种基于TVM的NPU神经网络模型部署方法及装置
基本信息
| 申请号 | CN202210482702.2 | 申请日 | - |
| 公开（公告）号 | CN114721670A | 公开（公告）日 | 2022-07-08 |
| 申请公布号 | CN114721670A | 申请公布日 | 2022-07-08 |
| 分类号 | G06F8/60（2018.01）I;G06F8/41（2018.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N3/063（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 贾丰荣;蔡万伟;陈宁 | 申请（专利权）人 | 深圳云天励飞技术股份有限公司 |
| 代理机构 | 北京三聚阳光知识产权代理有限公司 | 代理人 | - |
| 地址 | 518000广东省深圳市龙岗区园山街道龙岗大道8288号深圳大运软件小镇17栋1楼 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请提供一种基于TVM的NPU神经网络模型部署方法及装置，包括：获取待部署的神经网络模型和当前NPU的硬件属性信息；根据神经网络模型的计算逻辑，确定待部署到当前NPU的卷积算子；根据当前NPU的硬件属性信息和各卷积算子的参数信息，确定各卷积算子在当前NPU中的最优参数配置；根据最优参数配置和当前NPU的硬件属性信息，调整tir层的数据布局和卷积权重，对relay层的参数进行修改，得到适配当前NPU的目标TVM；基于目标TVM，生成神经网络模型适用于当前NPU的部署文件。通过对TVM的tir层和relay层进行相应的参数调整，以使得到的目标TVM能够适配该NPU。 |
