首页/ 南威软件股份有限公司/ 专利详情

一种支持断点续传的数据抽取方法及系统

基本信息

申请号 CN201811076270.5 申请日 -
公开（公告）号 CN109271435B 公开（公告）日 2022-03-04
申请公布号 CN109271435B 申请公布日 2022-03-04
分类号 G06F16/25（2019.01）I;H04L67/101（2022.01）I;H04L67/1074（2022.01）I 分类 计算；推算；计数;
发明人 陈晓伟;刘春忆 申请（专利权）人 南威软件股份有限公司
代理机构 北京天盾知识产权代理有限公司 代理人 张彩珍
地址 362000福建省泉州市丰泽区丰海路南威大厦2号楼
法律状态 -

摘要

摘要 本发明属于互联网信息处理技术领域，公开了一种支持断点续传的数据抽取方法及系统，数据抽取系统包括配置数据库模块、设置模块、抽取数据模块、记录和保存模块；数据抽取方法首先根据抽取的数据来源信息配置抽取数据库，选择增量字段；然后设置开始时间、间隔时间、每次抽取最大记录数、每次调度分页抽取记录数，抽取数据；随后记录并保存流程调度次数、流程总抽取记录数、流程上次抽取记录数、当前调度抽取完成记录数、已完成分页数、总分页数，服务器故障后再次抽取从之前已完成的下一页开始抽取。本发明的数据抽取方法可避免服务器负载过大，确保服务器的稳定性，不会重复抽取已完成的数据，提高了数据抽取的效率。