提供GPU服务的方法及系统
基本信息
| 申请号 | CN201910816173.3 | 申请日 | - |
| 公开（公告）号 | CN110532098B | 公开（公告）日 | 2022-03-08 |
| 申请公布号 | CN110532098B | 申请公布日 | 2022-03-08 |
| 分类号 | G06F9/50（2006.01）I;G06T1/20（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 谢盈 | 申请（专利权）人 | 广东星舆科技有限公司 |
| 代理机构 | 佛山帮专知识产权代理事务所（普通合伙） | 代理人 | 曾凤云 |
| 地址 | 510000广东省广州市天河区平云路163号广电科技大厦301（部位：自编05单元） | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本公开涉及深度学习服务的技术领域，公开了一种提供GPU服务的方法及系统，方法包括以下步骤：在容器集群管理系统中启动容器；读取配置信息并根据所述配置信息加载容器中的推理服务端；接收客户端的请求信息，根据所述请求信息向所述推理服务端发送计算指令，所述计算指令用于指示所述推理服务端调用基于Caffe框架部署的模型在GPU上进行推理；接收所述推理服务端返回的计算结果；将所述计算结果发送给所述客户端。本公开的一些技术效果在于：通过在容器中加载推理服务端，调用Caffe框架部署的模型在GPU上进行推理，能以较高的效率满足客户端的服务请求。 |
