一种新型归一化机制
基本信息
申请号 | CN202011388996.X | 申请日 | - |
公开(公告)号 | CN112686367A | 公开(公告)日 | 2021-04-20 |
申请公布号 | CN112686367A | 申请公布日 | 2021-04-20 |
分类号 | G06N3/04(2006.01)I;G06N3/08(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 张磊;李欣;常峰贵;甄先通;左利云;梁永盛;陈宏琼 | 申请(专利权)人 | 山东硅步机器人技术有限公司 |
代理机构 | 北京久维律师事务所 | 代理人 | 邢江峰 |
地址 | 525000广东省茂名市官渡二路139号大院 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种新型归一化机制,包括如下步骤:S1、网络结构,网络结构包括新型归一化机制网络结构和整体网络结构,将新型归一化机制网络结构嵌入到深度学习模型中;S2、数据集定义以及优化目标函数;S3、参数学习过程;S4、应用过程;本发明主要是归一化中均值和方差不是单纯依靠一个图像在深度神经网络上的特征图计算得到,而是通过一个多层感知机学习得到,其中多层感知机的网络参数是通过将训练数据多次分成源数据集和目标数据集,通过在正常神经网络学习过程中引入一个源数据集和目标数据集分布的KL距离约束得到,可以有效避免以往方法中,归一化中均值、方差的参数是由batch内有限数据得到带来的偏差。 |
