一种网页爬虫异步加密数据采集方法专利查询专利号|摘要-满商公司网

一种网页爬虫异步加密数据采集方法

基本信息

申请号	CN201911369510.5	申请日	-
公开（公告）号	CN113051453A	公开（公告）日	2021-06-29
申请公布号	CN113051453A	申请公布日	2021-06-29
分类号	G06F16/951（2019.01）I;G06F21/60（2013.01）I	分类	计算；推算；计数;
发明人	孙香娟;周彦其;姜波;李鑫	申请（专利权）人	中文在线集团股份有限公司
代理机构	北京市盛峰律师事务所	代理人	于国强
地址	100007北京市东城区东总布胡同58号天润财富中心14层1401单元
法律状态	-

摘要

本发明公开了一种网页爬虫异步加密数据采集方法，所述方法包括S1、获取网络请求；S2、根据所述网络请求对应返回网址数据；S3、对所述网址数据进行分析，对分析结果进行关键字搜索找到待解密的JavaScript文件；S4、采用JavaScript方法特征对所述待解密的JavaScript文件进行逆向分析，获取JavaScript文件的加密算法，并分析加密算法的实现方式；S5、模拟所述加密算法的实现方式，并通过模拟的加密算法的实现方式，对待加密的JavaScript文件进行加密，并将加密后的JavaScript文件存储在相应的网址数据中。优点是：该方法实现了破解的效果，并得到了可以提高采集数据准确性和加快采集速度的结果。