一种网络数据采集方法、装置、计算机设备及存储介质
基本信息
| 申请号 | CN202110169027.3 | 申请日 | - |
| 公开（公告）号 | CN112818201A | 公开（公告）日 | 2021-05-18 |
| 申请公布号 | CN112818201A | 申请公布日 | 2021-05-18 |
| 分类号 | G06F16/951;G06F16/958 | 分类 | 计算；推算；计数; |
| 发明人 | 龚剑;徐桢虎;唐弋松;占钦 | 申请（专利权）人 | 四川封面传媒有限责任公司 |
| 代理机构 | 成都顶峰专利事务所（普通合伙） | 代理人 | 杨国瑞 |
| 地址 | 610000 四川省成都市锦江区红星路二段70号1栋8楼A区 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及计算机网络技术领域，公开了一种网络数据采集方法、装置、计算机设备及存储介质。通过本发明创造，提供了一种基于模拟用户行为工具Se l n ium的网络数据采集方案，即可以在获取待执行抓取任务后，应用模拟用户行为工具Se l n ium依次执行排序的抓取任务，然后解析抓取的网页内容，得到可存放的结构化数据，从而可通过模拟真实用户行为绕过目标服务器的用户行为检测，拿到真实的数据，不但可以提升采集效率和质量，降低维护成本，还可以很好的隐藏自身的行为，具有很强的隐蔽性，而且不用详细分析网页接口与页面渲染，具有高便利性和通用性。 |
