一种实时数据流聚合查询的实现方法专利查询专利号|摘要-满商公司网

一种实时数据流聚合查询的实现方法

基本信息

申请号	CN201710792298.8	申请日	-
公开（公告）号	CN107766413A	公开（公告）日	2018-03-06
申请公布号	CN107766413A	申请公布日	2018-03-06
分类号	G06F17/30	分类	计算；推算；计数;
发明人	罗建	申请（专利权）人	珠海宇能云企科技有限公司
代理机构	深圳力拓知识产权代理有限公司	代理人	珠海宇能云企科技有限公司
地址	519000 广东省珠海市横琴新区宝华路6号105室-11451
法律状态	-

摘要

本发明提供了一种实时数据流聚合查询的实现方法，包括以下步骤：分析聚合查询语句，提取查询语句中的关键字段信息，并确定聚合算法；根据计算需求定义实时数据流的window宽度，从实时数据流中不断读取数据，按window宽度筛选出数据；对筛选出的数据，根据关键字段信息，计算得到第一数据集合和第二数据集合；通过scard算法将第一数据集合和第二数据集合进行聚合计算，并拼合成聚合结果集合；将聚合计算后的聚合结果集合存入关系型数据库或者分布式文档存储数据库中供应用系统调用。本发明采用redis集群作为计算中间结果存储介质，有效结合实时数据流window的概念，并充分利用redis高效的特性，实现了一套快速、准确、通用的实时大数据流的聚合方法。