一种自动化垂直细分领域的爬虫爬取方法及其管理系统
基本信息
| 申请号 | CN201710673166.3 | 申请日 | - |
| 公开（公告）号 | CN107590188B | 公开（公告）日 | 2020-02-14 |
| 申请公布号 | CN107590188B | 申请公布日 | 2020-02-14 |
| 分类号 | G06F16/955;G06F16/953;G06F17/18 | 分类 | 计算；推算；计数; |
| 发明人 | 郑小林;张建勇;林炜华 | 申请（专利权）人 | 杭州金智塔科技有限公司 |
| 代理机构 | 杭州中成专利事务所有限公司 | 代理人 | 杭州灵皓科技有限公司;杭州金智塔科技有限公司 |
| 地址 | 310030 浙江省杭州市西湖区耀江文鼎苑8-1603室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及爬虫爬取和管理调度技术，旨在提供一种自动化垂直细分领域的爬虫爬取方法及其管理系统。该种自动化垂直细分领域的爬虫爬取方法包括过程：爬虫运行时间预测；根据预测时间、并行数进行批量爬虫调度优化；爬虫爬取。本发明在垂直细分领域爬虫的爬取效率上比现有技术更加高效，结合垂直细分爬虫的特征开创地引入了爬虫的时间预测模型，结合最长处理时间优先算法进行并行爬虫的高效调度，节省爬取时间。 |
