一种实时大数据计算与存储方法及系统

基本信息

申请号 CN201910633540.6 申请日 -
公开(公告)号 CN110377653B 公开(公告)日 2021-05-07
申请公布号 CN110377653B 申请公布日 2021-05-07
分类号 G06F16/2458(2019.01)I;G06F16/27(2019.01)I;G06F16/25(2019.01)I 分类 -
发明人 吴信才;吴亮;万波;黄颖;黄胜辉;黄波;陈小佩;尹培培 申请(专利权)人 武汉中地数码科技有限公司
代理机构 武汉江楚智汇知识产权代理事务所(普通合伙) 代理人 邓寅杰
地址 430073湖北省武汉市洪山区关山一路1号华中软件园C栋
法律状态 -

摘要

摘要 本发明涉及实时大数据技术领域,尤其涉及一种实时大数据计算与存储方法及其系统,其不同之处在于,其步骤包括:S1、通过数据转换模块提取多源异构数据并转换成统一格式的数据,将处理后的数据发送到输入控制模块;S2、由输入控制模块对输入的数据进行汇聚集中、缓存,并进行拦截、监控、调度一系列处理后批量转发给实时计算模块;S3、实时计算模块分为空间过滤计算和空间映射计算,计算完成后将计算结果发送给流数据服务模块;S4、通过流数据服务模块提供实时数据服务和历史数据服务。本发明可更高效地处理多源异构实时大数据。