用于安全产业链的智能垂直搜索装置和方法
基本信息
申请号 | CN201410078014.5 | 申请日 | - |
公开(公告)号 | CN103886033B | 公开(公告)日 | 2017-02-08 |
申请公布号 | CN103886033B | 申请公布日 | 2017-02-08 |
分类号 | G06F17/30(2006.01)I;G06F9/46(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 刘欣毅;李昂生 | 申请(专利权)人 | 北京洞悉网络有限公司 |
代理机构 | 北京中恒高博知识产权代理有限公司 | 代理人 | 无锡香象生物科技有限公司;北京洞悉网络有限公司 |
地址 | 214000 江苏省无锡市锡山经济开发区芙蓉中三路99号瑞云5座502室 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种用于安全产业链的智能垂直搜索装置和方法,用于安全产业链的智能垂直搜索装置包括,爬行器引擎即搜索器引擎;调度;下载器:下载器抓取网页并将网页内容返还给蜘蛛;蜘蛛:蜘蛛是爬行器用户自己定义用来解析网页并抓取制定URL返回的内容的类,每个蜘蛛能处理一个域名或一组域名,即用来定义特定网站的抓取和解析规则;搜素因子库;项目管道;下载器中间件;蜘蛛中间件;调度中间件:调度中间件是介于爬行器引擎和调度之间的中间件,负责处理从爬行器引擎发送到调度的请求和响应,并提供了一个自定义的代码来拓展爬行器的功能。实现可靠、准确、实时且智能搜索的优点。 |
