一种基于分布式存储的数据动态处理方法
基本信息
| 申请号 | CN202010341795.8 | 申请日 | - |
| 公开（公告）号 | CN111611222A | 公开（公告）日 | 2020-09-01 |
| 申请公布号 | CN111611222A | 申请公布日 | 2020-09-01 |
| 分类号 | G06F16/182(2019.01)I | 分类 | - |
| 发明人 | 沈慧 | 申请（专利权）人 | 上海鼎茂信息技术有限公司 |
| 代理机构 | - | 代理人 | - |
| 地址 | 200000上海市普陀区岚皋路555号1708室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于分布式存储的数据动态处理方法，系统架构包括边缘数据采集层，数据分析层、交互层。包括步骤：1、响应搜索请求；2、拆分搜索请求；3、搜索请求处理；4、生成数据请求；5、数据初级搜索；6、数据转发；7、解析索引；8、搜索分析引擎处理数据；9、分片搜索分析结果汇总；10、交互层可视化展现。本发明在数据处理过程中引入了根据分片规则生成数据请求、创建数据转发实例实现数据从边缘收集节点到分析节点的动态转发、动态装载解析索引引擎的方法，解决了即可支持动态搜索又可以消除由于中央存储带来的数据容量的壁垒的难点，为大数据分析提供了一种可靠的数据处理里方法。 |
