预训练模型训练处理方法、装置、电子设备及存储介质
基本信息
| 申请号 | CN202210234103.9 | 申请日 | - |
| 公开（公告）号 | CN114676761A | 公开（公告）日 | 2022-06-28 |
| 申请公布号 | CN114676761A | 申请公布日 | 2022-06-28 |
| 分类号 | G06K9/62（2022.01）I;G06N3/08（2006.01）I;G06T1/20（2006.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 贾超;郑直 | 申请（专利权）人 | 北京智源人工智能研究院 |
| 代理机构 | 北京路浩知识产权代理有限公司 | 代理人 | - |
| 地址 | 100080北京市海淀区中关村东路1号院8号楼三层B201D-1 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供一种预训练模型训练处理方法、装置、电子设备及存储介质，所述方法应用于对待处理模型进行训练处理的服务器，所述服务器包括多个图形处理器，所述方法包括：将关于所述待处理模型的训练数据分摊至各个所述图形处理器；基于数据并行技术，通过各个所述图形处理器对所述训练数据进行分布式计算，用以实现对所述待处理模型进行训练。通过本发明提供的预训练模型训练处理方法，可以确保待处理模型能够在较小的空间占用下实现高效训练。 |
