基于大数据的数据自动抽取系统

基本信息

申请号 CN201810603056.4 申请日 -
公开(公告)号 CN109101521A 公开(公告)日 2018-12-28
申请公布号 CN109101521A 申请公布日 2018-12-28
分类号 G06F17/30;G06F11/30 分类 计算;推算;计数;
发明人 陈华;郁东风;吴途;毛晨杰 申请(专利权)人 江苏开拓信息与系统有限公司
代理机构 无锡市汇诚永信专利代理事务所(普通合伙) 代理人 张欢勇
地址 214000 江苏省无锡市滨湖区蠡湖商务园9号
法律状态 -

摘要

摘要 本发明公开了一种基于大数据的数据自动抽取系统,包括用于存储待抽取数据的数据源服务器;用于提供可视化配置界面的客户端;包括有配置存储模块、全量抽取模块、增量抓取模块、数据对比模块;配置存储模块的数据抽取服务器用于记录在抽取过程中将相关信息以参数的形式传递并记录在日志信息表中的日志存储模;用于存储抽取之后的结果数据的数据存储服务器。采用上述技术方案后,配置存储模块实现了一次配置可以多次使用。日志存储模解决了无法自动记录日志的问题。数据对比模块保证了抽取完成后能够自动验证数据量的准确性。