一种基于大数据的网页资产指纹标签识别与发现方法
基本信息
申请号 | CN202110611576.1 | 申请日 | - |
公开(公告)号 | CN113259467A | 公开(公告)日 | 2021-08-13 |
申请公布号 | CN113259467A | 申请公布日 | 2021-08-13 |
分类号 | H04L29/08(2006.01)I;H04L12/26(2006.01)I;G06F16/182(2019.01)I;G06F16/23(2019.01)I;G06F16/2458(2019.01)I | 分类 | 电通信技术; |
发明人 | 武斐;管越;虞雁群;吴艳;单易;刘彦伸;郭银锋 | 申请(专利权)人 | 浙江御安信息技术有限公司 |
代理机构 | 杭州中港知识产权代理有限公司 | 代理人 | 施建勇 |
地址 | 310000浙江省杭州市拱墅区石祥路242号2幢403室 | ||
法律状态 | - |
摘要
摘要 | 一种基于大数据的网页资产指纹标签识别与发现方法,属于数据信息传输技术领域,包括以下步骤:步骤S1,选择一个要扫描的目标IP;步骤S2,对目标IP进行扫描,确保目标IP存活;步骤S3,解析资产详情;步骤S4,解析网页资产;步骤S5,将步骤S3中的资产详情和步骤S4中的网页资产合并整理成资产数据集,并将资产数据集均存储在MySQL中和ElasticSearch中;步骤S6,通过Flume将ElasticSearch中存储的网页资产传输到HDFS中;步骤S7,利用Hive对Flume提取到HDFS的数据进行分析计算;步骤S8,将定义为新指纹标签的数据追加到MongoDB指纹标签库中。本方案考虑结合大数据技术对大量的资产数据进行梳理剖析,补充现有的资产指纹标签库,帮助企业和组织更全面更及时的对网页资产进行识别与管理。 |
