首页/ 成都视观天下科技有限公司/ 专利详情

一种基于知识蒸馏的卷积神经网络优化方法

基本信息

申请号 CN201810530304.7 申请日 -
公开（公告）号 CN108764462A 公开（公告）日 2018-11-06
申请公布号 CN108764462A 申请公布日 2018-11-06
分类号 G06N3/04;G06N3/08 分类 计算；推算；计数;
发明人 王标;隆刚;史方 申请（专利权）人 成都视观天下科技有限公司
代理机构 成都九鼎天元知识产权代理有限公司 代理人 邓世燕
地址 610041 四川省成都市高新区天府大道北段1700号1栋3单元10层1009号
法律状态 -

摘要

摘要 本发明公开了一种基于知识蒸馏的卷积神经网络优化方法，从FPN的特征金字塔部分的附加结构中选取位置建立桥接；在教师FPN网络T与学生FPN网络S之间的桥接位置建立多个特征适配层；采用层次加权的多尺度损失函数用作网络训练的损失函数。本发明的积极效果是：一方面，基于本发明的知识蒸馏设计，能够将复杂的教师FPN网络进行压缩，得到一个规模更小、计算更快的学生FPN网络。较之于现有基于CNN的目标检测技术直接使用FPN，更便于进行边缘侧计算的部署；另一方面考虑知识蒸馏的方式，较之现有的知识蒸馏技术，本发明能够更好的适配多尺度目标检测网络FPN，能更好的训练出高质量的学生FPN网络。