一种基于大数据平台的网络信息采集方法专利查询专利号|摘要-满商公司网

一种基于大数据平台的网络信息采集方法

基本信息

申请号	CN201910913561.3	申请日	-
公开（公告）号	CN110691081A	公开（公告）日	2020-01-14
申请公布号	CN110691081A	申请公布日	2020-01-14
分类号	H04L29/06	分类	电通信技术;
发明人	韩冰;陈晓峰	申请（专利权）人	南京源堡科技研究院有限公司
代理机构	南京众联专利代理有限公司	代理人	周新亚
地址	210049 江苏省南京市栖霞区马群街道紫东路2号C4幢401室
法律状态	-

摘要

本发明公开了一种基于大数据平台的网络信息采集方法，包括以下步骤：步骤1：按照一定的周期对网络信息进行采集,针对采集的安全信息进行分类处理，替提取URL，即资源类型、存放资源的主机域名、资源文件名；步骤2：将步骤1中提取的信息传送至管理数据库进行二次处理，分别将相关数据和预设阈值进行对比，如果浮动范围控制再0—15%范围内，该数据为可用数据；如果浮动范围超过15%，则认为该数据不可用，作丢弃处理；步骤3：对步骤2中的可用数据进行分类保存，便于随时调度；步骤4：针对步骤3中分类后的数据进行调度处理，针对不同的控制端口输出不同类型的数据信息。该方法可以有针对性的采集关键的数据进行分析处理，为安全分析提供更有针对性的参考数据，确保网络安全分析的准确性。