一种FTP数据库与HDFS数据库自动互传数据的方法

基本信息

申请号 CN201910463038.5 申请日 -
公开(公告)号 CN110377582B 公开(公告)日 2022-02-15
申请公布号 CN110377582B 申请公布日 2022-02-15
分类号 G06F16/21(2019.01)I;G06F16/25(2019.01)I 分类 计算;推算;计数;
发明人 徐剑;范联伟;余保华;徐圣吉;李贤军;张金国;展昭;吴磊;何宽宽;胡鸿超;杨培韬;胡刚;陈磊;梅存林;韦良春;夏磊 申请(专利权)人 四创电子股份有限公司
代理机构 合肥和瑞知识产权代理事务所(普通合伙) 代理人 王挺
地址 315336浙江省宁波市杭州湾新区玉海东路136号数字经济产业园B区14号楼
法律状态 -

摘要

摘要 本发明涉及一种FTP数据库与HDFS数据库自动互传数据的方法,包括如下步骤:数据抽取,GetFTP处理器查询并抽取到FTP数据库中的FTP数据,GetHDFS处理器查询并抽取到HDFS数据库中的HDFS数据;数据转换,对UpdateAttribute处理器进行属性配置,UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据,将抽取到的HDFS数据转换为FTP数据;数据加载,分别对PutHDFS处理器和PutFTP处理器进行属性配置,PutHDFS处理器将转换得到的HDFS数据加载到HDFS数据库的目标文件夹中,PutFTP处理器将转换得到的FTP数据加载到FTP数据库的目标文件夹中。本发明降低了数据转换的错误率,实现了数据的高效抽取与互传。