首页/ 中科弘云科技（北京）有限公司/ 专利详情

基于MPI的神经网络架构搜索并行化方法和设备

基本信息

申请号 CN202010144350.0 申请日 -
公开（公告）号 CN111324630A 公开（公告）日 2020-06-23
申请公布号 CN111324630A 申请公布日 2020-06-23
分类号 G06F16/245(2019.01)I 分类 -
发明人 曹连雨 申请（专利权）人 中科弘云科技（北京）有限公司
代理机构 北京八月瓜知识产权代理有限公司 代理人 中科弘云科技（北京）有限公司
地址 100080北京市海淀区上地信息产业基地开拓路7号1幢二层2209室
法律状态 -

摘要

摘要 本发明涉及一种基于MPI的神经网络架构搜索并行化方法和设备。该方法包括：根据当前多机环境中的GPU数量启动MPI进程，并按顺序进行编排；启动后的MPI进程根据其自己的序号从训练集中指定位置读取数据，并进行梯度计算；每个节点的GPU根据分层结构进行梯度规约计算，将计算的结果汇总至GPU中的首个GPU中；首个GPU按环形结构进行梯度全规约计算；在每个节点内从该首个GPU开始，按分层结构广播梯度计算结果；利用该新的梯度值更新神经网络的权值和偏置值。本发明能够在保证神经网络架构搜索结果模型的识别率的基础上，有效地加速神经网络架构搜索训练效率，大幅度减少训练时间，从而提升自动化深度学习过程的效率。