在限定硬件资源条件下的深度学习模型调度部署方法及系统
基本信息
| 申请号 | CN202011584721.3 | 申请日 | - |
| 公开（公告）号 | CN112540854B | 公开（公告）日 | 2021-10-08 |
| 申请公布号 | CN112540854B | 申请公布日 | 2021-10-08 |
| 分类号 | G06F9/50;G06F9/54;G06N5/04 | 分类 | 计算；推算；计数; |
| 发明人 | 陈伟睿;党康;王子龙 | 申请（专利权）人 | 上海体素信息科技有限公司 |
| 代理机构 | 上海段和段律师事务所 | 代理人 | 李佳俊;郭国中 |
| 地址 | 201100 上海市闵行区陈行公路2388号2幢B301室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种在限定硬件资源条件下的深度学习模型调度部署方法及系统，包括：步骤M1：获取深度学习推理任务中多个有依赖关系的阶段任务；步骤M2：对多个阶段任务资源消耗分别进行评估；步骤M3：对当前可用部署硬件资源进行评估；步骤M4：从多个有依赖关系的阶段任务中选取当前可运行的阶段任务；根据当前可用部署硬件资源调度当前可运行的阶段任务并更新可用部署硬件资源评估，重复执行步骤M4，直至深度学习推理任务中所有的阶段任务均完成。本发明实现不同部署环境计算资源的高效适配，后续推理模型变更的灵活适配。 |
