一种大批量数据的预处理及入库的方法
基本信息
| 申请号 | CN201910794841.7 | 申请日 | - |
| 公开（公告）号 | CN110489403A | 公开（公告）日 | 2019-11-22 |
| 申请公布号 | CN110489403A | 申请公布日 | 2019-11-22 |
| 分类号 | G06F16/21（2019.01）; G06F16/25（2019.01） | 分类 | 计算；推算；计数; |
| 发明人 | 赵伟; 康磊 | 申请（专利权）人 | 江苏华库数据技术有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 210000 江苏省南京市建邺区奥体大街69号1幢20层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 一种大批量数据的预处理及入库的方法，具体方法包括以下步骤：步骤一、第一个过程是数据预处理的过程，该过程的输入是待加载的源数据文件，输出是可以直接给第二个过程使用的集群存储层数据文件；步骤二、第二个过程是数据提交过程，即将预处理过程的输出提交到集群数据库系统中。本方法中加载的数据预处理过程不需要持有加载表的写锁，可以与加载表的其它DML并发进行；数据预处理过程相对独立，可以将数据预处理过程放置到集群资源比较空闲的节点上，实现负载均衡。 |
