一种爬虫系统及其方法
基本信息
| 申请号 | CN201410259561.3 | 申请日 | - |
| 公开（公告）号 | CN104008190B | 公开（公告）日 | 2017-04-19 |
| 申请公布号 | CN104008190B | 申请公布日 | 2017-04-19 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 于权 | 申请（专利权）人 | 南京博识信息技术有限公司 |
| 代理机构 | 南京钟山专利代理有限公司 | 代理人 | 戴朝荣 |
| 地址 | 210012 江苏省南京市雨花台区西春路1号北楼802室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 一种爬虫系统及其方法，包括带有用于动态网页的爬虫系统的爬虫节点，爬虫节点同互联网相连接，所述的互联网中包含有网站服务器，所述的网站服务器中包含有带有频道的网站，所述的爬虫节点中还包括有浏览器、用于采集结果的数据库和频道库，所述的网站服务器中还包含有频道列表信息。这样的结构结合其方法避免了现有技术中无法通过访问时间的值来控制爬虫是否继续爬取网页内容这样就极大地限制了爬虫的使用效率的缺陷。 |
