基于确定性算子共存的服务调度方法及其应用的GPU
基本信息
| 申请号 | CN202111199598.8 | 申请日 | - |
| 公开（公告）号 | CN114691314A | 公开（公告）日 | 2022-07-01 |
| 申请公布号 | CN114691314A | 申请公布日 | 2022-07-01 |
| 分类号 | G06F9/48（2006.01）I;G06N3/04（2006.01）I;G06N3/08（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈全;过敏意;崔炜皞;赵涵 | 申请（专利权）人 | 上海交通大学 |
| 代理机构 | 上海光华专利事务所（普通合伙） | 代理人 | - |
| 地址 | 200240上海市闵行区东川路800号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种基于确定性算子共存的服务调度方法及其应用的GPU，所述基于确定性算子共存的服务调度方法包括：包括：利用一共存感知的延迟预测器预测每一个算子调度组的处理时间；利用一基于余量的请求控制器以轮循的方式调度多个深度学习服务的请求，在每一个轮次中，确定接收到的所有请求的处理顺序，并基于预测的所述每一个算子调度组的处理时间确定最佳的算子调度组；利用一分段模型执行引擎处理接收到的所述算子调度组中各请求的相应算子的计算。本发明保证了多个深度学习服务混合运行的服务质量保证，同时还提高了吞吐，提升了GPU利用率。 |
