一种网络数据采集、存储及处理方法及系统
基本信息
| 申请号 | CN201710302930.6 | 申请日 | - |
| 公开（公告）号 | CN107273409B | 公开（公告）日 | 2020-12-15 |
| 申请公布号 | CN107273409B | 申请公布日 | 2020-12-15 |
| 分类号 | G06F16/951;G06F16/955 | 分类 | 计算；推算；计数; |
| 发明人 | 刘冶;张允聪;莫伟铸;曾广健;林志远;李宏浩;郑燕璇;印鉴 | 申请（专利权）人 | 广州赫炎大数据科技有限公司 |
| 代理机构 | 广州骏思知识产权代理有限公司 | 代理人 | 广州赫炎大数据科技有限公司;中山大学 |
| 地址 | 510000 广东省广州市天河区棠东横岭一路3号A座四楼之二 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种网络数据采集、存储及处理方法，包括以下步骤：S1：对网络数据进行采集；S2：对采集到的数据进行存储；S3：将存储的数据进行处理。其中，所述步骤S1中具体包括：S11：对URL进行存储管理分析；S12：进行自动化任务调度；S13：生成并行化爬取任务，将抓取的HTML文件进行保存；S14：解析HTML文档树，提取需要的字段信息。本发明还提供了一种用于实现上述方法的网络数据采集、存储及处理系统。相比于现有技术，本发明可以实现了对网络信息中有价值数据的采集，并通过离线解析文档提取结构化信息，比现有的网络数据采集装置有更好的采集效率和稳定性。 |
