网络爬虫监控方法、装置、计算机设备和存储介质
基本信息
申请号 | 2020111379036 | 申请日 | - |
公开(公告)号 | CN112256529A | 公开(公告)日 | 2021-01-22 |
申请公布号 | CN112256529A | 申请公布日 | 2021-01-22 |
分类号 | G06F11/30(2006.01)I;G06F11/34(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 沈天诗;林进兴;伍庭波;李彦威;宁达楚 | 申请(专利权)人 | 优车库网络科技发展(深圳)有限公司 |
代理机构 | 广州华进联合专利商标代理有限公司 | 代理人 | 魏宇星 |
地址 | 518000广东省深圳市福田区福保街道福田保税区市花路21号富林大厦B栋1层116-117室 | ||
法律状态 | - |
摘要
摘要 | 本申请涉及一种网络爬虫监控方法、装置、计算机设备和存储介质。所述方法包括:按照预设频率,从数据库中获取每个网络爬虫分别对应的数据表中的最新数据;所述最新数据中包含所述最新数据的入库时间点;根据当前时间点和所述最新数据的入库时间点,确定所述最新数据的入库时长;当所述入库时长大于或等于所述网络爬虫对应的爬取间隔时,则判定所述网络爬虫的运行状况为异常;当所述网络爬虫的运行状况为异常时,进行异常告警。采用本方法能够提高监控效率。 |
