一种数据爬取方法和系统
基本信息
| 申请号 | CN201810508823.3 | 申请日 | - |
| 公开（公告）号 | CN108846025A | 公开（公告）日 | 2018-11-20 |
| 申请公布号 | CN108846025A | 申请公布日 | 2018-11-20 |
| 分类号 | G06F17/30 | 分类 | 计算；推算；计数; |
| 发明人 | 向开娓 | 申请（专利权）人 | 上海钢联电子商务股份有限公司 |
| 代理机构 | 北京维正专利代理有限公司 | 代理人 | 洪敏;谢绪宁 |
| 地址 | 201900 上海市宝山区园丰路68号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种数据爬取方法和系统，涉及数据采集技术领域，解决了现有技术爬取对象单一，数据管理不够完善，数据爬取不够系统化的缺点。该方法包括：将数据进行分类；根据采集任务对数据进行爬取；查询采集成功的指标数据结果和异常结果。通过对所要爬取的数据进行分类，根据管理员的需求设置对应的采集任务，能够提高数据的提取效率，而根据是否已采集过数据的指标来选择数据采集规则，避免了数据的重复采集和遗漏。 |
