一种快速大规模影像数据分布式流水线处理方法和系统专利查询专利号|摘要-满商公司网

一种快速大规模影像数据分布式流水线处理方法和系统

基本信息

申请号	CN201910322709.6	申请日	-
公开（公告）号	CN110059124A	公开（公告）日	2019-07-26
申请公布号	CN110059124A	申请公布日	2019-07-26
分类号	G06F16/25（2019.01）I; G06F16/182（2019.01）I	分类	计算；推算；计数;
发明人	任现超; 罗丙庆; 罗顶林; 汤勇	申请（专利权）人	上海飞未信息技术有限公司
代理机构	-	代理人	-
地址	201108 上海市闵行区光华路2118号第3幢五层B537室
法律状态	-

摘要

本发明公开了一种快速大规模影像数据分布式流水线处理方法和系统，其方法包括以下步骤：A、分布式存储：Apache Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用；B、分布式计算：基于JTS框架，实现了一系列支持Spark分布式计算的影像数据分布式计算方法。本发明使用Hadoop HDFS分布式文件系统及Accumulo key‑value数据库，解决了大规模空间数据的分布式存储问题，借助于Spark大数据计算框架，支持影像数据的快速分析计算，有效提高了大规模影像数据处理效率，解决了大规模空间数据的分布式计算问题，使用基于Spark的影像数据处理流水线技术，方便影像数据的自动化处理及与应用系统的结合，解决了大规模影像数据高效、离线或实时自动化处理问题。