基于多GPU的任务调度方法、装置专利查询专利号|摘要-满商公司网

基于多GPU的任务调度方法、装置

基本信息

申请号	CN202110709270.X	申请日	-
公开（公告）号	CN113391905A	公开（公告）日	2021-09-14
申请公布号	CN113391905A	申请公布日	2021-09-14
分类号	G06F9/48（2006.01）I;G06F9/50（2006.01）I	分类	计算；推算；计数;
发明人	龙利民;李强;胡勇超;阚德军;徐克	申请（专利权）人	图灵人工智能研究院（南京）有限公司
代理机构	南京苏高专利商标事务所（普通合伙）	代理人	柏尚春
地址	210046江苏省南京市栖霞区紫东路2号紫东国际创意园东区C21栋
法律状态	-

摘要

本发明公开了一种基于多GPU的任务调度方法、装置，所述方法包括：为不同任务类型分别分配最小GPU占用数量和最大GPU占用数量；数据库中任务加载至任务队列，按照任务类型的优先级顺序，将可用资源中的GPU依序进行分配；若运行任务中的GPU数量已经达到各任务类型的最小GPU占用数量，或者满足了任务类型的所有任务，可用资源按照任务队列中任务类型的优先级顺序重新进行GPU分配；每个任务类型所分配的GPU数量不超过对应的最大GPU占用数量。采用上述技术方案，不进行模型和GPU资源的绑定，满足各种模型数量的需求；设定最小和最大资源分配数量，可以在各类型模型请求数量不确定时，降低因任务过多而导致的堵塞风险，并且充分利用资源，提升运行效率。