大规模工业数据压缩存储方法、系统及介质
基本信息
| 申请号 | CN202010961819.X | 申请日 | - |
| 公开（公告）号 | CN112214453B | 公开（公告）日 | 2021-10-01 |
| 申请公布号 | CN112214453B | 申请公布日 | 2021-10-01 |
| 分类号 | G06F16/11（2019.01）I;G06F16/16（2019.01）I;G06F16/174（2019.01）I;G06F16/182（2019.01）I | 分类 | 计算；推算；计数; |
| 发明人 | 高响 | 申请（专利权）人 | 上海微亿智造科技有限公司 |
| 代理机构 | 上海段和段律师事务所 | 代理人 | 李佳俊;郭国中 |
| 地址 | 201100上海市闵行区元江路5500号第1幢 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明提供了一种大规模工业数据压缩存储方法、系统及介质，包括：步骤1：根据数据源类型配置不同的数据采集系统，通过界面化操作对数据采集系统采集的数据进行提取；步骤2：定义转化链，通过数据清洗插件将提取的不同类型的数据的格式临时转化成Avro格式；步骤3：以GPL协议压缩Avro格式的数据，压缩格式为snappy，并在分布式文件系统中创建以parquet为存储格式的数据集，对压缩后的数据进行存储。本发明能够对任何类型数据定义转化链和压缩和存储格式，大大提高计算平台数据处理速度和数据压缩比率。 |
