GPU虚拟化算力的弹性调度方法、系统、设备和存储介质

基本信息

申请号 CN202011566583.6 申请日 -
公开(公告)号 CN112286644A 公开(公告)日 2021-01-29
申请公布号 CN112286644A 申请公布日 2021-01-29
分类号 G06F9/455;G06F9/445;G06F9/50;G06N5/04 分类 计算;推算;计数;
发明人 谢建超 申请(专利权)人 杭州博盾习言科技有限公司
代理机构 杭州创智卓英知识产权代理事务所(普通合伙) 代理人 张超
地址 311121 浙江省杭州市余杭区五常街道文一西路998号18幢210室
法律状态 -

摘要

摘要 本申请涉及GPU虚拟化算力的弹性调度方法、系统、设备和存储介质,属于GPU虚拟化技术领域,该方法包括:对AI推理容器进行自动压测,得到历史最大运行指标;根据历史最大运行指标,自动确定容器的算力配额;检测容器在业务场景下的实时运行指标;根据实时运行指标和预设的算力弹性调度条件,自动调整容器实例数。实现了自动化确定AI推理容器所分配的算力配额,提高了AI推理容器的部署效率,而且极大的提高了GPU算力的利用率。