网络爬虫系统
基本信息
| 申请号 | CN201210495699.4 | 申请日 | - |
| 公开（公告）号 | CN103853717B | 公开（公告）日 | 2018-10-12 |
| 申请公布号 | CN103853717B | 申请公布日 | 2018-10-12 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 刘涛 | 申请（专利权）人 | 厦门新见福电子商务有限公司 |
| 代理机构 | 上海弼兴律师事务所 | 代理人 | 北京京东尚科信息技术有限公司;厦门新见福电子商务有限公司 |
| 地址 | 100195 北京市海淀区杏石口路65号西杉创意园四区11号楼东段1-4层西段1-4层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种网络爬虫，包括一内核以及一Ajax抓取配置，该内核以及该Ajax抓取配置均集成有htmlunit，该Ajax抓取配置用于指定一网页的地址以及该网页中的待抓取的数据，该内核用于驱动搜索引擎，并基于该Ajax抓取配置提取该待抓取的数据。本发明能够支持Ajax的执行方式抓取网页页面的数据，并且支持异步请求的技术，可以使用JavaScript向服务器提出请求并处理响应，而且不会阻塞用户。 |
