一种实时大数据计算与存储方法及系统
基本信息
申请号 | CN201910633540.6 | 申请日 | - |
公开(公告)号 | CN110377653B | 公开(公告)日 | 2021-05-07 |
申请公布号 | CN110377653B | 申请公布日 | 2021-05-07 |
分类号 | G06F16/2458(2019.01)I;G06F16/27(2019.01)I;G06F16/25(2019.01)I | 分类 | - |
发明人 | 吴信才;吴亮;万波;黄颖;黄胜辉;黄波;陈小佩;尹培培 | 申请(专利权)人 | 武汉中地数码科技有限公司 |
代理机构 | 武汉江楚智汇知识产权代理事务所(普通合伙) | 代理人 | 邓寅杰 |
地址 | 430073湖北省武汉市洪山区关山一路1号华中软件园C栋 | ||
法律状态 | - |
摘要
摘要 | 本发明涉及实时大数据技术领域,尤其涉及一种实时大数据计算与存储方法及其系统,其不同之处在于,其步骤包括:S1、通过数据转换模块提取多源异构数据并转换成统一格式的数据,将处理后的数据发送到输入控制模块;S2、由输入控制模块对输入的数据进行汇聚集中、缓存,并进行拦截、监控、调度一系列处理后批量转发给实时计算模块;S3、实时计算模块分为空间过滤计算和空间映射计算,计算完成后将计算结果发送给流数据服务模块;S4、通过流数据服务模块提供实时数据服务和历史数据服务。本发明可更高效地处理多源异构实时大数据。 |
