一种基于列存数据库对海量数据进行高效的批量更新方法
基本信息
| 申请号 | CN201910789871.9 | 申请日 | - |
| 公开（公告）号 | CN110515950A | 公开（公告）日 | 2019-11-29 |
| 申请公布号 | CN110515950A | 申请公布日 | 2019-11-29 |
| 分类号 | G06F16/22;G06F16/28;G06F16/23;G06F16/2455 | 分类 | 计算；推算；计数; |
| 发明人 | 赵伟;张海亮 | 申请（专利权）人 | 江苏华库数据技术有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 210000 江苏省南京市建邺区奥体大街69号1幢20层 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于列存数据库中对海量数据进行高效的批量更新方法，包括如下步骤：首先将每列的数据被切分成多个存储单元，每个存储单元中包含多个block；定义block的命中状态为未命中、部分命中、全命中，更新时查询block的命中状态，若未命中，说明当前block完全没有需要更新的内容，若部分命中，说明该block有部分需要更新的内容，若全命中，说明该block的内容需要全部更新，再写入目标存储单元；进行下一个block更新，有新的内容更新时重复之前的步骤，没有新的内容更新时更新内容即可结束。此方法保证数据存储单元的连续性；杜绝了磁盘空间的浪费，海量数据的更新操作也不会造成数据膨胀。 |
