一种基于图形处理器的深度神经网络多模型并行推理方法
基本信息
| 申请号 | CN202111354003.1 | 申请日 | - |
| 公开（公告）号 | CN114004730A | 公开（公告）日 | 2022-02-01 |
| 申请公布号 | CN114004730A | 申请公布日 | 2022-02-01 |
| 分类号 | G06T1/20（2006.01）I;G06T1/40（2006.01）I;G06T1/60（2006.01）I;G06F9/50（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I;G06N5/04（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张楠;李明喜 | 申请（专利权）人 | 奥特贝睿（天津）科技有限公司 |
| 代理机构 | 天津企兴智财知识产权代理有限公司 | 代理人 | 陈雅洁 |
| 地址 | 300300天津市东丽区经济技术开发区五经路1号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种基于图形处理器的深度神经网络多模型并行推理方法，包括以下步骤：S1、根据待推理的网络模型构建多个对应的推理引擎；S2、将推理引擎与对应的输入数据地址和GPU设备的Stream对象进行绑定；S3、根据多线程推理构建所需的推理分组，每个推理分组均对应一个CPU线程对象；S4、将每个推理分组与对应的CPU线程对象进行绑定；S5、将推理引擎添加至推理分组中；S6、构建推理管理器；S7、将推理分组添加至推理管理器中；S8、推理管理器发起多线程并行推理操作。本发明能够实现多模型推理过程中的数据共享、能够更加高效的发挥GPU的并行处理能力和有效进行多模型推理计算过程中的线程同步操作。 |
