一种基于脚本的web服务分页数据采集系统
基本信息
| 申请号 | CN201911080867.1 | 申请日 | - |
| 公开（公告）号 | CN111221815B | 公开（公告）日 | 2021-07-27 |
| 申请公布号 | CN111221815B | 申请公布日 | 2021-07-27 |
| 分类号 | G06F16/22（2019.01）I;G06F16/2458（2019.01）I;G06F16/25（2019.01）I;G06F16/27（2019.01）I;G06F9/54（2006.01）N | 分类 | 计算；推算；计数; |
| 发明人 | 干际阳;徐斌;李毅 | 申请（专利权）人 | 南京莱斯网信技术研究院有限公司 |
| 代理机构 | 江苏圣典律师事务所 | 代理人 | 胡建华;于瀚文 |
| 地址 | 210000江苏省南京市秦淮区永丰大道36号天安数码城05幢 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种基于脚本的web服务分页数据采集系统，包括如下步骤：步骤1，所述数据平台基于用户录入的目录信息和库表信息分别生成目录树和至少一个库表；步骤2，所述数据平台基于用户输入的字段信息生成至少一个字段以及至少一个主键字段配置内容；步骤3，所述数据平台基于用户输入生成至少一个节点信息、至少一个数据源信息和至少一个解析脚本；步骤4，所述数据平台基于用户输入生成至少一个采集任务配置内容和至少一个采集任务调度；步骤5，生成采集规则，执行采集任务调度，完成分页数据采集，数据存储到MongoDB数据库。 |
