数据采集方法、装置、计算机设备及存储介质
基本信息
| 申请号 | CN202010173517.6 | 申请日 | - |
| 公开（公告）号 | CN111405033A | 公开（公告）日 | 2020-07-10 |
| 申请公布号 | CN111405033A | 申请公布日 | 2020-07-10 |
| 分类号 | H04L29/08(2006.01)I | 分类 | - |
| 发明人 | 王金辉;冼东亮;李柏;李如先;庄智恒 | 申请（专利权）人 | 深圳前海环融联易信息科技服务有限公司 |
| 代理机构 | 深圳市精英专利事务所 | 代理人 | 深圳前海环融联易信息科技服务有限公司 |
| 地址 | 518000广东省深圳市前海深港合作区前湾一路1号A栋201室（入驻深圳市前海商务秘书有限公司） | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及数据采集方法、装置、计算机设备及存储介质，该方法包括设置过滤规则并设置代理应用程序的IP和端口，以得到中间代理应用程序；获取业务请求；判断过滤规则是否是过滤代理请求的请求头信息；若是，则根据业务请求通过中间代理应用程序请求对应的目标网站，以得到指定链接的数据包；通过指定链接的数据包过滤请求头信息并进行数据采集，以得到目标数据；将目标数据反馈至终端；若不是，则根据业务需求通过中间代理应用程序采集对应的目标网站的相关数据，以得到响应数据；根据过滤规则进行响应数据的过滤，以得到目标数据，并执行将目标数据反馈至终端。本发明实现高效采集数据，节省分析网站的时间成本，也可以节省设备资源。 |
