基于云边协同的吞吐量优化的机器学习推断任务部署方法

基本信息

申请号 CN202110854407.0 申请日 -
公开(公告)号 CN113315669A 公开(公告)日 2021-08-27
申请公布号 CN113315669A 申请公布日 2021-08-27
分类号 H04L12/24(2006.01)I;H04L29/08(2006.01)I;H04W24/02(2009.01)I;H04W24/06(2009.01)I;G06N3/063(2006.01)I;G06N3/04(2006.01)I;G06F9/50(2006.01)I 分类 电通信技术;
发明人 吴鹏;李辉;杨定坤 申请(专利权)人 江苏电力信息技术有限公司
代理机构 南京汇盛专利商标事务所(普通合伙) 代理人 陈扬
地址 210024江苏省南京市鼓楼区广州路189号民防大厦
法律状态 -

摘要

摘要 本发明公开了一种基于云边协同的吞吐量优化的机器学习推断任务部署方法,包括:建立云边协同场景下的机器学习推断任务部署模型,当前阶段的计算时延与阶段之间的数据传输时延,进而建立吞吐量最优化的推断任务部署优化问题,基于动态规划思想设计高效的部署策略,以获得最优的部署方案。本发明基于云边协同场景,将推断任务划分为串行阶段,采用流水线并行处理推断任务,以优化推断任务的吞吐量。