首页/ 上海淼云文化传播有限公司/ 专利详情

一种数据处理方法、装置及系统

基本信息

申请号 CN201210046932.0 申请日 -
公开（公告）号 CN103294702A 公开（公告）日 2013-09-11
申请公布号 CN103294702A 申请公布日 2013-09-11
分类号 G06F17/30(2006.01)I 分类 计算；推算；计数;
发明人 李晨;马向晖 申请（专利权）人 上海淼云文化传播有限公司
代理机构 北京集佳知识产权代理有限公司 代理人 上海淼云文化传播有限公司
地址 200072 上海市闸北区广中西路777弄55号1509-1510室
法律状态 -

摘要

摘要 本发明提供了一种数据处理方法、装置及系统，所述方法包括对待存储数据进行hash算法计算，得出所述待存储数据的关键值；在预先设定的数据集合中查找是否含有与所述关键值相匹配的关键值，如果是，舍去所述待存储数据，如果否，将所述待存储数据以列式存储方法进行存储，并将所述待存储数据的关键值存储至所述数据集合中。通过本发明提供的一种数据处理方法、装置或系统实施例，在对待存储数据以列式存储方法进行存储之前先进行hash计算，依据得出的关键值对待存储数据进行去重处理，从而在进行海量数据处理时避免数据的冗余现象，避免了存储空间的浪费。