一种空间自适应的海量数据查询方法

基本信息

申请号 CN202111189827.8 申请日 -
公开(公告)号 CN113641681A 公开(公告)日 2021-11-12
申请公布号 CN113641681A 申请公布日 2021-11-12
分类号 G06F16/22(2019.01)I;G06F16/2455(2019.01)I 分类 计算;推算;计数;
发明人 许扬汶;刘天鹏;韩冬;孙腾中;刘灵娟 申请(专利权)人 南京大数据集团有限公司
代理机构 南京苏高专利商标事务所(普通合伙) 代理人 徐博
地址 211135江苏省南京市江宁区麒麟科技创新园智汇路300号A座
法律状态 -

摘要

摘要 本发明公开了一种空间自适应的海量数据查询方法,该方法包括步骤如下:步骤1,按照数据集的存储位置将数据集内全部记录划分至若干个不相交的数据集子块内,之后对每个数据集子块内所有记录的相同待查询域中的所有元素构建空间自适应过滤器;步骤2,给定待查询域中的某一目标元素,遍历待查询域对应的全部空间自适应过滤器,获取存在目标元素的数据集子块集合;对数据集子块集合中的每个数据集子块进行遍历,得到待查询域中具有目标元素的全部记录。该方法在整个生命周期内通过降低磁盘数据查询量的方式提供稳定的查询加速,并避免了数据插入和删除时对其他数据的空间位置、映射关系产生影响。