一种轻量级ETL处理平台
基本信息
| 申请号 | CN201911108855.5 | 申请日 | - |
| 公开（公告）号 | CN111125045A | 公开（公告）日 | 2020-05-08 |
| 申请公布号 | CN111125045A | 申请公布日 | 2020-05-08 |
| 分类号 | G06F16/182;G06F16/25;G06F16/28 | 分类 | 计算；推算；计数; |
| 发明人 | 李甫 | 申请（专利权）人 | 量子云未来（北京）信息科技有限公司 |
| 代理机构 | 北京知呱呱知识产权代理有限公司 | 代理人 | 盛明星 |
| 地址 | 100021 北京市海淀区云会里金雅园过街楼六层6235 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明实施例公开了一种轻量级ETL处理平台，所述轻量级ETL处理平台包括前端任务收发模块和后端数据处理模块，所述前端任务收发模块包括浏览器、H5操作单元和MySQL数据库管理系统，所述浏览器用于配置操作参数，所述H5操作单元对操作进行可视化展示，所述MySQL数据库管理系统中放置不同的支持Spark操作的函数库或操作指令，所述后端数据处理模块包括Spark集群，所述Spark集群内对数据进行分布式存储，根据MySQL数据库管理系统中放置的Spark操作的函数库或操作指令进行大数据计算，计算结果输出至MySQL数据库管理系统。本发明解决了现有大数据处理专业度要求高、处理速度慢的问题。 |
