爬虫数据监控方法、系统、计算机设备及存储介质
基本信息
| 申请号 | CN202110356886.3 | 申请日 | - |
| 公开（公告）号 | CN113220549A | 公开（公告）日 | 2021-08-06 |
| 申请公布号 | CN113220549A | 申请公布日 | 2021-08-06 |
| 分类号 | G06F11/34（2006.01）I;G06F16/951（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 常江;熊斌;李成刚;陈森彬 | 申请（专利权）人 | 深圳市猎芯科技有限公司 |
| 代理机构 | 深圳中细软知识产权代理有限公司 | 代理人 | 袁文英 |
| 地址 | 518000广东省深圳市龙岗区坂田街道五和大道南2号万科星火ONLINE6栋301 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明实施例公开了一种爬虫数据监控方法，通过接收上报至搜索数据分析引擎的初始爬虫日志，其中，初始爬虫日志为日志收集器从日志收集器对应的节点服务器上搜集得到；通过数据分析引擎对初始爬虫日志进行分析，得到采样爬虫数据；对采样爬虫数据进行统计分析，确定监控结果，实现了对爬虫过程的自动化监控，提高了对爬虫数据的处理效率，进而提高了爬虫数据的稳定性和准确性，满足了大规模爬虫的需求。此外，还提出了一种爬虫数据监控装置、计算机设备及存储介质。 |
