一种基于网络爬虫与结构化存储的数据处理方法
基本信息
| 申请号 | CN201610361299.2 | 申请日 | - |
| 公开（公告）号 | CN106055618A | 公开（公告）日 | 2016-10-26 |
| 申请公布号 | CN106055618A | 申请公布日 | 2016-10-26 |
| 分类号 | G06F17/30(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 郑文毅;谢晓勇;黄俊 | 申请（专利权）人 | 优品财富管理股份有限公司 |
| 代理机构 | 北京卓唐知识产权代理有限公司 | 代理人 | 优品财富管理有限公司 |
| 地址 | 430000 湖北省武汉市东湖高新区光谷大道77号光谷金融港泰康大楼17层优品财富 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于网络爬虫与结构化存储的数据处理方法，属于计算机应用技术领域。本发明包括如下步骤：步骤一：确定数据源并配置网络爬虫系统；步骤二：根据数据源特征以及预设的元数据结构，对数据处理界面进行配置；步骤三：针对网页爬虫获取的数据与文件进行筛选排重；步骤四：依据索引把数据与文件的调取到不同的数据维护界面。本发明不需要大量人员去跟踪各个数据来源，也减少了数据来源比对，排重的工作量，有效的提高了获取数据的效率。在数据存储过程中，采用了结构化的处理方式，对数据进行了标准化，数据进入数据库前会经过正确的逻辑校验，保证了数据的准确性和完整性。网络爬虫模块。 |
