一种实时和离线大数据处理系统、方法、存储介质及终端专利查询专利号|摘要-满商公司网

一种实时和离线大数据处理系统、方法、存储介质及终端

基本信息

申请号	CN201910914660.3	申请日	-
公开（公告）号	CN110659323A	公开（公告）日	2020-01-07
申请公布号	CN110659323A	申请公布日	2020-01-07
分类号	G06F16/25	分类	计算；推算；计数;
发明人	朱水斌;罗稳;刘建	申请（专利权）人	卓尔购信息科技（武汉）有限公司
代理机构	武汉谦源知识产权代理事务所（普通合伙）	代理人	王力
地址	430312 湖北省武汉市黄陂区盘龙城汉口北大道88号汉口北电子商务大厦13楼
法律状态	-

摘要

本发明涉及一种实时和离线大数据处理系统、方法、存储介质及终端，其系统包括数据配置模块、数据采集模块、数据转换模块和数据输出模块；数据配置模块读取配置文件信息，并分别对数据采集模块、数据转换模块和数据输出模块进行配置；数据采集模块从离线或者实时数据流中抽取数据源，并转换为表格式的数据信息；数据转换模块对数据信息进行转换；数据输出模块将转换后的数据信息输出。本发明通过数据配置模块实现大数据处理的全程配置化管理，能处理多源多格式数据的采集,海量数据的转换，不同格式和不同数据存储格式的输出。减少企业学习成本和开发成本，加快企业部署大数据处理流程的过程，模块化和插件化设计,配置灵活,扩展简单，维护方便。