一种面向少样本领域的轻量级半监督模型框架
基本信息
| 申请号 | CN202111166569.1 | 申请日 | - |
| 公开（公告）号 | CN113920395A | 公开（公告）日 | 2022-01-11 |
| 申请公布号 | CN113920395A | 申请公布日 | 2022-01-11 |
| 分类号 | G06V10/774（2022.01）I;G06N3/04（2006.01）I;G06F16/35（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 张梦超;付志兵;李渔;费斌杰 | 申请（专利权）人 | 北京熵简科技有限公司 |
| 代理机构 | 上海剑秋知识产权代理有限公司 | 代理人 | 徐浩俊 |
| 地址 | 100085北京市海淀区上地三街9号D座3层D408 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种面向少样本领域的轻量级半监督模型框架，涉及深度学习自然语言处理技术领域，包括：作为预训练的激励网络；作为训练的目标网络，所述目标网络连接于所述激励网络，并与所述激励网络完成若干特征蒸馏；其中，所述激励网络利用一致性正则化和数据增强技术从无监督数据和监督数据中挖掘信息和特征，为后续的所述目标网络的训练提供多级正则化约束。本发明提供的上述框架采用半监督的学习方法，在文本分类中，只需要少量的标注数据，也能达到很好的效果；本发明提供的上述框架采用激励网络来引导目标网络的两阶段训练方法，因为最终的目标网络是轻量级的卷积神经网络，因此，参数量更小，运行时所需资源更少，速度更快。 |
