基于资源调整的深度学习模型动态批处理调度方法和系统
基本信息
| 申请号 | CN202111543693.5 | 申请日 | - |
| 公开（公告）号 | CN114217966A | 公开（公告）日 | 2022-03-22 |
| 申请公布号 | CN114217966A | 申请公布日 | 2022-03-22 |
| 分类号 | G06F9/50（2006.01）I;G06F9/48（2006.01）I;G06F9/54（2006.01）I;G06N3/08（2006.01）I;G06N5/04（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈伟睿;蒋昌龙;冯奕乐;王子龙;张政;丁晓伟 | 申请（专利权）人 | 上海体素信息科技有限公司 |
| 代理机构 | 上海段和段律师事务所 | 代理人 | 李源 |
| 地址 | 201100上海市闵行区陈行公路2388号2幢B301室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种基于资源调整的深度学习模型动态批处理调度方法和系统，包括：步骤1：将深度学习推理作业按运行时消耗评估资源的种类进行任务拆分；步骤2：根据深度学习推理作业的资源种类和当前部署环境资源情况进行任务动态批处理，当满足预设停止调度条件时停止调度，当接收到新推理作业，或在可用资源发生变化时，触发新的调度。本发明通过不同运行时期运行调度当时的部署资源情况，得出此时某个推理任务的批处理推理批量大小并调度执行，可以有效的根据实时部署资源，动态调整批处理批量，利用批处理对运行效率的提升并达到对部署资源的实时充分利用，从而提升资源动态变化场景下的推理作业处理的吞吐量。 |
