基于大数据遥感影像缓存方法
基本信息
| 申请号 | CN202011437094.0 | 申请日 | - |
| 公开（公告）号 | CN112558869A | 公开（公告）日 | 2021-03-26 |
| 申请公布号 | CN112558869A | 申请公布日 | 2021-03-26 |
| 分类号 | G06F3/06(2006.01)I;G06F16/51(2019.01)I | 分类 | 计算；推算；计数; |
| 发明人 | 于洋;杜毅;刘鑫 | 申请（专利权）人 | 北京航天世景信息技术有限公司 |
| 代理机构 | 北京纽乐康知识产权代理事务所（普通合伙） | 代理人 | 秦月贞 |
| 地址 | 100089北京市海淀区长春桥路11号1号楼五层507-510 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于大数据遥感影像缓存方法，该方法包括以下步骤：分布式缓存应用于海量数据存储，支持集群自动化数据分片，进行集群节点移除缓存或添加缓存；容错机制，创建数据集之间的依赖关系，根据依赖关系中的数据集节点接收到其他节点发送的信息时标注失效的节点，普通数据流处理方式，将读取的数据集发送到各个子节点中的共享内存中，共享内存中的数据存放硬盘，读取硬盘中的数据进行分割后任务分发；排序数据流处理方式,将数据集读入工作节点的内存中，工作节点执行进程将内存中的数据进行排序分配给划分好的缓存中；聚合数据输出流处理，获取普通数据流，控制句柄执行写操作，写操作创建磁盘分区后，将分区文件进行合并。 |
