一种基于少量标注数据的网络流量异常检测方法

基本信息

申请号 CN202010344517.8 申请日 -
公开(公告)号 CN111585997B 公开(公告)日 2022-01-14
申请公布号 CN111585997B 申请公布日 2022-01-14
分类号 H04L9/40(2022.01)I;G06K9/62(2006.01)I;G06N3/04(2006.01)I;G06N3/08(2006.01)I 分类 电通信技术;
发明人 李文龙;张家琦;邢燕祯;刘中金;何跃鹰;高杨;王新根;鲁萍;黄滔 申请(专利权)人 浙江邦盛科技股份有限公司
代理机构 杭州求是专利事务所有限公司 代理人 刘静
地址 100029北京市朝阳区裕民路甲3号
法律状态 -

摘要

摘要 本发明公开了一种基于少量标注数据的网络流量异常检测方法,采用双自编码器对特征向量进行降维处理,然后使用深度神经网络进行有监督的训练;将网络流量分成正样本和负样本的两类,最后筛选出无标注数据中部分重要样本,交由专家进行标注,增加有标记样本数量,迭代更新自编码器和分类器,之后用训练好的分类器进行网络流量异常检测。本发明提出双自编码器架构,使用纯净的正负样本分别训练自编码器,提升了分类器的稳定性。同时改进深度神经网络的损失函数,更细粒度地调整样本权重,解决正负样本不平衡,缓解训练集较小导致的过拟合问题,并提出一种新的计算无标注数据的标记价值的方法,选择标记价值高的样本交由专家,减少了标注成本。