实时数仓自动ETL方法、系统、设备及计算机存储介质
基本信息
| 申请号 | CN202110444992.7 | 申请日 | - |
| 公开（公告）号 | CN113220757A | 公开（公告）日 | 2021-08-06 |
| 申请公布号 | CN113220757A | 申请公布日 | 2021-08-06 |
| 分类号 | G06F16/25;G06F16/28;G06F9/54 | 分类 | 计算；推算；计数; |
| 发明人 | 葛昊 | 申请（专利权）人 | 上海钢银科技发展有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 201900 上海市宝山区泰和路1088号6幢B区187室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本申请涉及涉及电子商务平台准实时数仓建设技术领域，公开了一种实时数仓自动ETL方法、系统，实时数仓自动ETL方法，包括：数据抽取，将mysql数据库中的数据抽取至消息队列Kafka中；数据转换，基于根据用户需求预先在mysql数据库中配置的转换策略对进入消息队列Kafka中的数据进加，包括：设置默认值、数据汇总、以其他数据库的数据作为取值条件，以及上传脚本描述中的一种或多种；数据加载，基于预先在mysql数据库中配置的数据来源地和目标地的对应关系，将进加后的数据加载至标准mysql数据库。本申请通过采用上述技术方案，全程配置化所有的数据ETL需求可通过程序配置进完成，无需编写代码，简化了实时数仓的ETL过程，缩短了数据延迟。 |
