一种大数据存储优化的方法及装置

基本信息

申请号 CN202010534111.6 申请日 -
公开(公告)号 CN111694520B 公开(公告)日 2021-04-27
申请公布号 CN111694520B 申请公布日 2021-04-27
分类号 G06F3/06 分类 计算;推算;计数;
发明人 董新建;董瑞朝;李贞 申请(专利权)人 邦尼集团有限公司
代理机构 西安泛想力专利代理事务所(普通合伙) 代理人 石琳丹
地址 250000 山东省济南市高新区舜华路1号齐鲁软件园创业广场B座三层
法律状态 -

摘要

摘要 本发明涉及计算机技术领域,尤其为一种大数据存储优化的方法及装置,其中,一种装置,包括存储内存集合或单元,存储节点管理单元,第一记录单元,第一写入模块,第二记录单元,存储数据接收模块,解码模块,编译模块以及处理模块,一种方法,基于上述的装置,本发明的整体思想是将存储内存分割成多个存储节点,编辑存储节点的储属性及存储规则,将待存储数据进行解码,将解码后的待存储数据按照待存储数据的文件属性写入其存储属性,并按照对应的存储规则进行分类,根据所述存储规则以及存储容量的选择,处理模块利用冗余数据识别方法识别待存储数据中的冗余数据,然后在冗余数据中写入对应虚拟位置的节点码,并存储在对应的存储节点中。