基于大数据的数据定制接入方法及系统
基本信息
| 申请号 | CN202110367307.5 | 申请日 | - |
| 公开（公告）号 | CN113111105A | 公开（公告）日 | 2021-07-13 |
| 申请公布号 | CN113111105A | 申请公布日 | 2021-07-13 |
| 分类号 | G06F16/25（2019.01）I;G06F16/27（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 周正斌;王勇;王震;王波;廖文绪 | 申请（专利权）人 | 创意信息技术股份有限公司 |
| 代理机构 | 成都金英专利代理事务所（普通合伙） | 代理人 | 袁英 |
| 地址 | 610000四川省成都市青羊区万和路９９号丽阳天下７－９室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了基于大数据的数据定制接入方法及系统，方法包括以下步骤：一：数据接入配置，根据不同类型的数据分别对Web‑ETL和接入申请单的属性进行配置，并生成对应的数据接入任务；二：执行数据接入，根据配置的数据接入任务类型分别选择Web‑ETL后端执行器、默认执行器和个性化扩展执行器分别进行执行处理，将读取的数据写入到队列中，并保存至目标数据库中。本发明采用了设计器与执行器分离，数据获取与数据入库分离，再加上Kafka消息中间件的方式实现数据接入，定义了一套数据类型之间互相转换的中间类型，可满足不同类型的数据之间的接入转换过程，能最大限度地保障数据完整准确接入。 |
