一种基于格式数据集的分布式数据存储与计算方法
基本信息
申请号 | CN201310752910.0 | 申请日 | - |
公开(公告)号 | CN103678716B | 公开(公告)日 | 2017-01-04 |
申请公布号 | CN103678716B | 申请公布日 | 2017-01-04 |
分类号 | G06F17/30(2006.01)I | 分类 | 计算;推算;计数; |
发明人 | 邹瑜斌;张昕;胡斌;须成忠;张帆;穆德全 | 申请(专利权)人 | 深圳市易行网交通科技有限公司 |
代理机构 | 深圳市科进知识产权代理事务所(普通合伙) | 代理人 | 沈祖锋;郝明琴 |
地址 | 518055 广东省深圳市南山区西丽大学城学苑大道1068号 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及计算机技术领域,本发明采用一种基于格式数据集的分布式数据存储与计算方法,包括:将计算统计的过滤条件转换为一个规则集;根据规则集,将原始无序的数据记录转换为格式数据集;将转换后的格式数据集进行存储;基于存储的格式数据集,执行统计计算。本发明可以极大地缩短海量数据的统计计算时间,并且易于计算规模的扩展,能够有效地应对数据的多样性和异常数据。 |
