一种网站数据采集方法及存储介质
基本信息
| 申请号 | CN202111253993.X | 申请日 | - |
| 公开（公告）号 | CN113886750A | 公开（公告）日 | 2022-01-04 |
| 申请公布号 | CN113886750A | 申请公布日 | 2022-01-04 |
| 分类号 | G06F16/958（2019.01）I;G06F16/955（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 刘超;崔俊;隋国栋;刘峰 | 申请（专利权）人 | 北京值得买科技股份有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 100071北京市丰台区汽车博物馆东路1号院3号楼33层3801 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种网站数据采集方法及存储介质，包括：获取网站的链接；根据所述链接获取对应的网站信息；根据所述网站信息匹配采集任务；根据所述采集任务匹配采集方案；根据所述采集方案合并最优采集方案；根据所述最优采集方案生成采集项；将采集项推入队列中，采集服务从队列中获取采集项，执行具体的采集操作，获取采集的数据。本申请以方案为最小粒度的采集项，并对相同采集方案，按采集频率做了合并，将大大节省采集资源。 |
