一种基于少量标注数据的网络流量异常检测方法
基本信息
申请号 | CN202010344517.8 | 申请日 | - |
公开(公告)号 | CN111585997B | 公开(公告)日 | 2022-01-14 |
申请公布号 | CN111585997B | 申请公布日 | 2022-01-14 |
分类号 | H04L9/40(2022.01)I;G06K9/62(2006.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I | 分类 | 电通信技术; |
发明人 | 李文龙;张家琦;邢燕祯;刘中金;何跃鹰;高杨;王新根;鲁萍;黄滔 | 申请(专利权)人 | 浙江邦盛科技股份有限公司 |
代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 刘静 |
地址 | 100029北京市朝阳区裕民路甲3号 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种基于少量标注数据的网络流量异常检测方法,采用双自编码器对特征向量进行降维处理,然后使用深度神经网络进行有监督的训练;将网络流量分成正样本和负样本的两类,最后筛选出无标注数据中部分重要样本,交由专家进行标注,增加有标记样本数量,迭代更新自编码器和分类器,之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构,使用纯净的正负样本分别训练自编码器,提升了分类器的稳定性。同时改进深度神经网络的损失函数,更细粒度地调整样本权重,解决正负样本不平衡,缓解训练集较小导致的过拟合问题,并提出一种新的计算无标注数据的标记价值的方法,选择标记价值高的样本交由专家,减少了标注成本。 |
