网络爬虫系统及方法
基本信息
| 申请号 | CN201910017134.7 | 申请日 | - |
| 公开（公告）号 | CN109783715A | 公开（公告）日 | 2019-05-21 |
| 申请公布号 | CN109783715A | 申请公布日 | 2019-05-21 |
| 分类号 | G06F16/951（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 郭星星 | 申请（专利权）人 | 鑫涌算力信息科技（上海）有限公司 |
| 代理机构 | 上海翰信知识产权代理事务所（普通合伙） | 代理人 | 鑫涌算力信息科技（上海）有限公司 |
| 地址 | 200090 上海市杨浦区黄兴路2218号第28层2808室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本公开提供了一种网络爬虫系统及方法，所述网络爬虫系统可以在用户授权的情况下自动抓取网络特定信息，所述用户交互模块获取了用户授权信息之后用把相关的授权信息提交到调度处理模块，由调度模块处理抓取相应的规则，解决了普通网络爬虫无法对于特定私有信息的自动化获取。同时，所述网络爬虫系统使用消息队列，作为中间件，来实现异步解耦，所述网络爬虫系统采用异步的请求方式来处理任务，系统结构易于拓展，各层连接通过消息队列来处理，使爬虫任务有了下发式，避免了重复任务的情况，增加了系统的稳定性，大大提高了用户响应时间，充分利用了系统资源，提高了系统的并发量，系统利用率大大提升。 |
