一种大数据存储优化的方法及装置
基本信息
申请号 | CN202010534111.6 | 申请日 | - |
公开(公告)号 | CN111694520B | 公开(公告)日 | 2021-04-27 |
申请公布号 | CN111694520B | 申请公布日 | 2021-04-27 |
分类号 | G06F3/06 | 分类 | 计算;推算;计数; |
发明人 | 董新建;董瑞朝;李贞 | 申请(专利权)人 | 邦尼集团有限公司 |
代理机构 | 西安泛想力专利代理事务所(普通合伙) | 代理人 | 石琳丹 |
地址 | 250000 山东省济南市高新区舜华路1号齐鲁软件园创业广场B座三层 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及计算机技术领域,尤其为一种大数据存储优化的方法及装置,其中,一种装置,包括存储内存集合或单元,存储节点管理单元,第一记录单元,第一写入模块,第二记录单元,存储数据接收模块,解码模块,编译模块以及处理模块,一种方法,基于上述的装置,本发明的整体思想是将存储内存分割成多个存储节点,编辑存储节点的储属性及存储规则,将待存储数据进行解码,将解码后的待存储数据按照待存储数据的文件属性写入其存储属性,并按照对应的存储规则进行分类,根据所述存储规则以及存储容量的选择,处理模块利用冗余数据识别方法识别待存储数据中的冗余数据,然后在冗余数据中写入对应虚拟位置的节点码,并存储在对应的存储节点中。 |
