一种深度学习中超参数的优化选取方法专利查询专利号|摘要-满商公司网

一种深度学习中超参数的优化选取方法

基本信息

申请号	CN201810282510.0	申请日	-
公开（公告）号	CN108470210A	公开（公告）日	2018-08-31
申请公布号	CN108470210A	申请公布日	2018-08-31
分类号	G06N3/04	分类	计算；推算；计数;
发明人	曹连雨	申请（专利权）人	中科弘云科技（北京）有限公司
代理机构	-	代理人	-
地址	100085 北京市海淀区西二旗西路2号院领秀新硅谷B区83号楼3单元102
法律状态	-

摘要

本发明公开了一种深度学习中超参数的优化选取方法，其步骤为：定义n个待训练模型；定义函数eval以当前变化的模型参数θ的值来评估模型的优劣，随机选取数个θ的值,计算得出相应的eval(θ)；计算这些点中每一个点的均值和方差，再预估可能的使eval(θ|h)最大的θ取值；得到下一采样点后，计算eval(θ|h)；如果此时的step数满足预设条件则进入下一步骤，否则回到循环；计算当前所有并行计算模型的eval(θ|h)，并将其从大到小排序，定义优质及劣质；对每一个劣质模型进行淘汰操作；对每一个完成淘汰操作的劣质模型，立即进行进化操作；步骤完成后，回到循环。本发明在加快参数优化耗时的同时，可以有效减少资源消耗，并且可应对多超参数的情况。