基于python实现的多模型融合并行推理方法、装置及系统专利查询专利号|摘要-满商公司网

基于python实现的多模型融合并行推理方法、装置及系统

基本信息

申请号	CN202110392000.0	申请日	-
公开（公告）号	CN112966825A	公开（公告）日	2021-06-15
申请公布号	CN112966825A	申请公布日	2021-06-15
分类号	G06N5/04（2006.01）I	分类	计算；推算；计数;
发明人	王璐威;吴彰鹏	申请（专利权）人	杭州欣禾圣世科技有限公司
代理机构	杭州创信知识产权代理有限公司	代理人	杨燕霞
地址	311100浙江省杭州市余杭区余杭街道文一西路1818-2号6幢406室
法律状态	-

摘要

本发明公开一种基于python实现的多模型融合并行推理方法，包括获取参与推理的多个异构模型，将多个异构模型按照预设规则转换成标准子模型；将每个子模型的结构和权重字典与总模型的每条分支相互对应，基于每个子模型的结构和权重字典将每个标准子模型融合成总模型；将总模型加载至GPU中，并对融合后的总模型进行推理验证；定义总模型的输出为每个子模型的输出组成的列表，通过列表索引将总模型的推理结果映射回子模型。推理效率高，相较于多进程、多线程并行推理方法，本发明只在一个进程中运行，没有进程间、线程间的调度问题，效率更高。节约存储资源，将多个子模型融合为一个总模型，相较于多进程方法，本发明只需一份输入数据，节约了存储资源。