一种自动化的数据加载方法及装置
基本信息
| 申请号 | CN202111184802.9 | 申请日 | - |
| 公开（公告）号 | CN113626514B | 公开（公告）日 | 2022-02-25 |
| 申请公布号 | CN113626514B | 申请公布日 | 2022-02-25 |
| 分类号 | G06F16/25（2019.01）I;G06F16/23（2019.01）I;G06F16/27（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 陈晓希;史晨阳;王磊;刘淼;彭强;薛淇升;吴晓刚;张翠;何如意;侯强 | 申请（专利权）人 | 中国光大银行股份有限公司 |
| 代理机构 | 北京集佳知识产权代理有限公司 | 代理人 | 张静 |
| 地址 | 100033北京市西城区太平桥大街25号、甲25号中国光大中心 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种自动化的数据加载方法及装置，包括：调取至少包含待加载的数据表的属性信息的配置文件，基于预先生成SQL模板和配置文件的对应关系，将配置文件中的第一信息导入到SQL模板中；基于预先生成的HIVE模板和配置文件的对应关系，将所述配置文件中的第二信息导入到HIVE模板中；第一信息和第二信息至少包含待加载的数据表的属性信息；通过HIVE模板，将待加载的数据表包含的数据导入到大数据平台中；将SQL模板中信息记录到所述大数据平台中；所述SQL模板中的信息至少包括待加载的数据表的属性信息。由此，实现了向大数据平台进行自动化数据加载的方法，提高了数据加载的准确度，降低了失误率。 |
