预训练模型推理处理方法、装置、电子设备及存储介质
基本信息
| 申请号 | CN202210234098.1 | 申请日 | - |
| 公开（公告）号 | CN114676760A | 公开（公告）日 | 2022-06-28 |
| 申请公布号 | CN114676760A | 申请公布日 | 2022-06-28 |
| 分类号 | G06K9/62（2022.01）I;G06N5/04（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 贾超;郑直 | 申请（专利权）人 | 北京智源人工智能研究院 |
| 代理机构 | 北京路浩知识产权代理有限公司 | 代理人 | - |
| 地址 | 100080北京市海淀区中关村东路1号院8号楼三层B201D-1 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种预训练模型推理处理方法、装置、电子设备及存储介质，所述方法应用于对待处理模型进行推理处理的服务器，所述方法包括：确定所述待处理模型，其中，所述待处理模型采用高比特浮点数进行表示且通过预训练得到，所述高比特浮点数的位数大于或等于第一位数阈值；基于模型量化技术，将所述待处理模型的模型参数由采用所述高比特浮点数表示转化为采用低比特定点数表示，用以实现对所述待处理模型进行加速推理处理，其中，所述低比特定点数的位数小于或等于第二位数阈值。通过本发明的预训练模型推理处理方法，实现了大规模待处理模型在推理过程中的低成本性和高处理速度性。 |
