首页/ 南京途牛科技有限公司/ 专利详情

一种防爬虫的方法

基本信息

申请号 CN201610847434.4 申请日 -
公开（公告）号 CN106534062B 公开（公告）日 2019-05-10
申请公布号 CN106534062B 申请公布日 2019-05-10
分类号 H04L29/06（2006.01）I 分类 电通信技术;
发明人 俞玲燕 申请（专利权）人 南京途牛科技有限公司
代理机构 南京苏高专利商标事务所（普通合伙） 代理人 南京途牛科技有限公司
地址 210042 江苏省南京市玄武区玄武大道699-32号途牛大厦
法律状态 -

摘要

摘要 本发明公开了一种防爬虫的方法，包括以下步骤：S1：对接收到的请求进行判断：如果在白名单内，则直接进行步骤S6；如果不在白名单内，则判断是否已被标记为爬虫，如果已被标记为爬虫则进行步骤S5，如果没有被标记为爬虫则进行步骤S2；S2：对第一预设时间内的请求总数进行检验；S3：对第二预设时间内的子请求和父请求次数比例进行检验；S4：判断步骤S2和S3的两次检验是否均通过：如果均通过，则进行步骤S6；否则，进行步骤S5；S5：拦截所述请求，并返回步骤S1进行继续判断；S6：允许所述请求，并返回步骤S1进行继续判断。本发明从多个维度判断请求的合法性，有效提高了拦截爬虫的力度和准确性。