一种基于HDFS的数据转换存储方法专利查询专利号|摘要-满商公司网

一种基于HDFS的数据转换存储方法

基本信息

申请号	CN202110547354.8	申请日	-
公开（公告）号	CN113190527A	公开（公告）日	2021-07-30
申请公布号	CN113190527A	申请公布日	2021-07-30
分类号	G06F16/182（2019.01）I;G06F16/215（2019.01）I;G06F16/2458（2019.01）I;G06F16/25（2019.01）I	分类	计算；推算；计数;
发明人	巩书凯;卢仁谦;梁先黎;邹平	申请（专利权）人	重庆忽米网络科技有限公司
代理机构	重庆博凯知识产权代理有限公司	代理人	黄河
地址	400041重庆市高新区万科023创意天地万科锦尚4幢3单元
法律状态	-

摘要

本发明涉及计算机技术领域，具体涉及一种基于HDFS的数据转换存储方法，其配置HDFS存储服务器并设置HDFS存储服务器存储文件的文件大小；然后将数据源的数据转换成大小与HDFS存储服务器存储文件的文件大小相适应的文件，并将对应的文件存储在HDFS存储服务器中。具体包括：将数据源接入设置的MongoDB数据库中；对MongoDB数据库中的热数据进行数据清洗；配置HDFS存储服务器存储文件的文件大小；将数据清洗后的热数据转换成与HDFS存储服务器存储文件的文件大小相适应的固定大小文件，并将对应的固定大小文件存储在HDFS存储服务器中。本发明中的数据转换存储方法能够在数据存储前固定文件数据格式，从而能够提升工业大数据的数据存储效果。