低算力要求的神经网络分块优化方法及分块优化器

基本信息

申请号 CN201810273656.9 申请日 -
公开(公告)号 CN108764483B 公开(公告)日 2021-05-18
申请公布号 CN108764483B 申请公布日 2021-05-18
分类号 G06N20/00;G06N3/04 分类 计算;推算;计数;
发明人 马瑞 申请(专利权)人 浙江长兴笛卡尔科技有限公司
代理机构 广州市越秀区哲力专利商标事务所(普通合伙) 代理人 胡拥军;糜婧
地址 310000 浙江省杭州市余杭区五常街道高教路970-1号7幢6楼617室
法律状态 -

摘要

摘要 本发明公开了低算力要求的神经网络分块优化方法及分块优化器,该方法包括:分解隐层拓扑,将隐层参数形成的向量排列组成超平面;在超平面的每个位置添加数据;将超平面平分为二分别训练,选择变化程度较高的区域判断是否满足系统算力要求,多次重复直到某次分块后满足系统算力要求;使用训练数据集对筛选出的区域进行训练,若lossfunction满足系统要求结束训练;反之则组成新的待训练空间继续训练。本发明实施例在算力不足的应用场景下,基于相对少量的样本数据,通过搜寻隐层参数超平面上对lossfunction影响较大的区域并对其进行针对性的调优,用较小的运算量来快速完成一套满足基本要求的神经网络,且样本数据可以多次利用。