首页/ 成都美尔贝科技股份有限公司/ 专利详情

一种跨数据中心的ETL工具

基本信息

申请号 CN202110552855.5 申请日 -
公开（公告）号 CN113312416A 公开（公告）日 2021-08-27
申请公布号 CN113312416A 申请公布日 2021-08-27
分类号 G06F16/25;G06F16/215 分类 计算；推算；计数;
发明人 兰波;莫加龙;万乐园;张鼎浩;张杰;龚连胜;杜在乾 申请（专利权）人 成都美尔贝科技股份有限公司
代理机构 成都弘毅天承知识产权代理有限公司 代理人 岳子强
地址 610000 四川省成都市高新区蜀都中心2期1号楼6层
法律状态 -

摘要

摘要 本发明公开了一种跨数据中心的ETL工具，包括任务调度模块、数据清洗模块、上传模块和存储模块，其中：所述任务调度模块，用于创建需要清洗的任务，并将任务存储在第一数据中心的数据库中；所述数据清洗模块，获取第一数据中心的数据库中需要清洗的任务的计划，拆分任务中的结构化数据和非结构化数据；所述上传模块，用于获取任务中结构化数据推送到第一数据中心的redis队列中进行清洗和入库，用于获取任务中的非结构化数据推送到第二数据中心的redis队列中进行清洗；所述存储模块，用于获取第二数据中心清洗的数据存储到第三数据中心的数据库；提高清洗的效率和稳定性，根据不同的数据中心的产品价格优势，降低使用成本。