防抓取的方法、装置、设备及计算机存储介质
基本信息
申请号 | CN202010448441.3 | 申请日 | - |
公开(公告)号 | CN111625700A | 公开(公告)日 | 2020-09-04 |
申请公布号 | CN111625700A | 申请公布日 | 2020-09-04 |
分类号 | G06F16/951(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 黄鹏杰;吕克让 | 申请(专利权)人 | 北京世纪家天下科技发展有限公司 |
代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 北京世纪家天下科技发展有限公司 |
地址 | 100000北京市丰台区郭公庄中街20号院2号楼14层1403 | ||
法律状态 | - |
摘要
摘要 | 本申请提供了一种防抓取的方法、装置、设备及计算机存储介质,对用户的行为数据进行分类统计,得到第一数据;将地址信息访问业务线配置的规则的访问数量,大于第一阈值的每一个目标地址信息所属的用户的访问数据确定为第一疑似爬虫数据;若目标地址信息访问业务线配置的规则的访问数量与目标地址信息的访问数量的比值大于第二阈值,则第一疑似爬虫数据为爬虫数据;比值小于或等于第二阈值,将第一疑似爬虫数据作为第二疑似爬虫数据,将用户行为数据的数值赋值为第一数据中的用户行为数据的数值后;若大于第三阈值且第二疑似爬虫数据不在白名单中,则第二疑似爬虫数据为爬虫数据。以达到精准识别爬虫的目的。 |
