一种基于多类型设备的大数据处理方法、系统及可读介质
基本信息
| 申请号 | CN202111188142.1 | 申请日 | - |
| 公开（公告）号 | CN114116861A | 公开（公告）日 | 2022-03-01 |
| 申请公布号 | CN114116861A | 申请公布日 | 2022-03-01 |
| 分类号 | G06F16/25（2019.01）I;G06F16/27（2019.01）I;G06F16/215（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 邱伟;黄文龙;叶杰琛;黄建榮;林观辉;王顺超;韩东兴;郭坤阳;杨振亚;南颖;马方远;王军 | 申请（专利权）人 | 福建厦门抽水蓄能有限公司 |
| 代理机构 | 厦门市首创君合专利事务所有限公司 | 代理人 | 张松亭 |
| 地址 | 100031北京市西城区西长安街86号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于多类型设备的大数据处理方法、系统及可读介质，通过构建以ETL层、服务层和存储层组成的大数据平台，ELT层包括数据采集模块和数据支撑模块，服务层包括Stream模块、批处理模块和GPU资源模块，存储层包括分布式存储模块，将原始数据通过数据清洗管道流入大数据集群或存储层，通过Stream模块对原始数据中的实时数据进行消费和实时计算，通过批处理模块对原始数据中的离线数据进行数据清洗；最后存储在分布式存储模块，并结合数据支撑模块实现数据的分类和发布。该方法能够让感知设备回传的复杂数据治理过程具备可编程性、可扩展性，彻底解决了抽水蓄电站基建现场数据难管理、难计算和使用率低下的问题。 |
