一种基于Web的ETL设计数据接入方法及数据接入模块
基本信息
| 申请号 | CN202110367312.6 | 申请日 | - |
| 公开（公告）号 | CN113111106A | 公开（公告）日 | 2021-07-13 |
| 申请公布号 | CN113111106A | 申请公布日 | 2021-07-13 |
| 分类号 | G06F16/25（2019.01）I;G06F16/27（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陆文斌;周正斌;徐孟宇;周阳 | 申请（专利权）人 | 创意信息技术股份有限公司 |
| 代理机构 | 成都金英专利代理事务所（普通合伙） | 代理人 | 袁英 |
| 地址 | 610000四川省成都市青羊区万和路９９号丽阳天下７－９室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于Web的ETL设计数据接入方法及数据接入模块，方法包括以下步骤：通过Flow类定义每条流程；将各个流程的每个流程环节用不同FlowLink类进行表示，形成组件；每一个FlowLink类中记录了该组件所需要的参数信息、所属组件和下一个组件的ID；在可视化界面通过将不同组件进行组合连接，形成一个链式的流程，以配置较为复杂的数据接入过程；参数信息采用Json字符串的方式进行存储；所属组件表示FlowLink类中进行数据处理的组件；下一个组件的ID用于将FlowLink串成一条完整的Flow。本发明可配置处理较为复杂的数据接入，适用于各种业务场景，实现大数据的分批读取和复杂处理，以提高数据处理性能，最大限度地保障数据完整准确的接入。 |
