一种FTP数据库与HDFS数据库自动互传数据的方法
基本信息
申请号 | CN201910463038.5 | 申请日 | - |
公开(公告)号 | CN110377582B | 公开(公告)日 | 2022-02-15 |
申请公布号 | CN110377582B | 申请公布日 | 2022-02-15 |
分类号 | G06F16/21(2019.01)I;G06F16/25(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 徐剑;范联伟;余保华;徐圣吉;李贤军;张金国;展昭;吴磊;何宽宽;胡鸿超;杨培韬;胡刚;陈磊;梅存林;韦良春;夏磊 | 申请(专利权)人 | 四创电子股份有限公司 |
代理机构 | 合肥和瑞知识产权代理事务所(普通合伙) | 代理人 | 王挺 |
地址 | 315336浙江省宁波市杭州湾新区玉海东路136号数字经济产业园B区14号楼 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及一种FTP数据库与HDFS数据库自动互传数据的方法,包括如下步骤:数据抽取,GetFTP处理器查询并抽取到FTP数据库中的FTP数据,GetHDFS处理器查询并抽取到HDFS数据库中的HDFS数据;数据转换,对UpdateAttribute处理器进行属性配置,UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据,将抽取到的HDFS数据转换为FTP数据;数据加载,分别对PutHDFS处理器和PutFTP处理器进行属性配置,PutHDFS处理器将转换得到的HDFS数据加载到HDFS数据库的目标文件夹中,PutFTP处理器将转换得到的FTP数据加载到FTP数据库的目标文件夹中。本发明降低了数据转换的错误率,实现了数据的高效抽取与互传。 |
