一种海量数据处理方法
基本信息
| 申请号 | CN202110008538.7 | 申请日 | - |
| 公开（公告）号 | CN112684986A | 公开（公告）日 | 2021-04-20 |
| 申请公布号 | CN112684986A | 申请公布日 | 2021-04-20 |
| 分类号 | G06F16/2455(2019.01)I;G06F16/22(2019.01)I;G06F16/27(2019.01)I;G06F16/2458(2019.01)I;G06F3/06(2006.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 张金宝;沈党云;田野 | 申请（专利权）人 | 中交智运有限公司 |
| 代理机构 | 北京知呱呱知识产权代理有限公司 | 代理人 | 孙志一 |
| 地址 | 300210天津市河西区黑牛城道13号 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 一种海量数据处理方法，通过确定待存储的数据粒度和数据字段，由动态扩增的列进行存储表的组织生成，将存储单元作为最细粒度的数据存储；当进行数据存储时，先将待存储的数据存入内存中作为缓存，当定义的缓存栈超过阈值后，将存入内存的数据写入文件并落入到磁盘中；数据的组成包括索引区和数据区，索引区对存储文件内部包含的数据类型进行记录，数据区对存储的数据对象进行存放；当对存储的数据读取时，先从缓存栈中查询数据；当在底层文件存储中查找数据时，先检索数据的索引区，判断底层文件是否包含该数据，若底层文件包含查找的数据则根据索引区进行数据定位。本发明解决数据查询速度慢、大量数据的冗余、过多占用存储空间的问题。 |
