一种基于半监督的反爬虫系统及设计方法
基本信息
| 申请号 | CN202010655940.X | 申请日 | - |
| 公开（公告）号 | CN111914905B | 公开（公告）日 | 2021-07-20 |
| 申请公布号 | CN111914905B | 申请公布日 | 2021-07-20 |
| 分类号 | G06K9/62;G06F21/56;G06N20/00 | 分类 | 计算；推算；计数; |
| 发明人 | 简军;高熙;蔡月月 | 申请（专利权）人 | 北京人人云图信息技术有限公司 |
| 代理机构 | 北京中创云知识产权代理事务所（普通合伙） | 代理人 | 肖佳 |
| 地址 | 100191 北京市海淀区北四环中路238号柏彦大厦11层1106室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于半监督的反爬虫系统及设计方法，包括衍生特征向量，无监督聚类成簇，专家规则评估，强化规则，机器学习，输出识别爬虫概率结果；通过无监督算法对请求行为进行聚类得到不同的簇；通过专家规则对不同的簇行为进行爬虫概率计算；对于概率高于某个阈值的行为添加到规则系统里；对于概率在某个阈值范围的行为作为维度送进机器学习系统进行训练和预测，能够解决爬虫行为多变的问题并提高防护性能，降低误杀风险。 |
