GPU虚拟化算力的弹性调度方法、系统、设备和存储介质
基本信息
申请号 | CN202011566583.6 | 申请日 | - |
公开(公告)号 | CN112286644B | 公开(公告)日 | 2021-05-28 |
申请公布号 | CN112286644B | 申请公布日 | 2021-05-28 |
分类号 | G06F9/50(2006.01)I;G06F9/445(2018.01)I;G06F9/455(2006.01)I;G06N5/04(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 谢建超 | 申请(专利权)人 | 杭州博盾习言科技有限公司 |
代理机构 | 杭州创智卓英知识产权代理事务所(普通合伙) | 代理人 | 张超 |
地址 | 311121 浙江省杭州市余杭区五常街道文一西路998号18幢210室 | ||
法律状态 | - |
摘要
摘要 | 本申请涉及GPU虚拟化算力的弹性调度方法、系统、设备和存储介质,属于GPU虚拟化技术领域,该方法包括:对AI推理容器进行自动压测,得到历史最大运行指标;根据历史最大运行指标,自动确定容器的算力配额;检测容器在业务场景下的实时运行指标;根据实时运行指标和预设的算力弹性调度条件,自动调整容器实例数。实现了自动化确定AI推理容器所分配的算力配额,提高了AI推理容器的部署效率,而且极大的提高了GPU算力的利用率。 |
