一种大数据综合处理方法及系统
基本信息
| 申请号 | CN201811204254.X | 申请日 | - |
| 公开（公告）号 | CN109408602A | 公开（公告）日 | 2019-03-01 |
| 申请公布号 | CN109408602A | 申请公布日 | 2019-03-01 |
| 分类号 | G06F16/28;G06F16/22;G06F16/21 | 分类 | 计算；推算；计数; |
| 发明人 | 王丽娟 | 申请（专利权）人 | 深圳中顺易金融服务有限公司 |
| 代理机构 | 深圳市凯达知识产权事务所 | 代理人 | 刘大弯 |
| 地址 | 518000 广东省深圳市前海深港合作区前湾一路1号A栋201室(入驻深圳市前海商务秘书有限公司) | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种大数据综合处理方法及系统，包括业务数据库RDBMS和离线计算模块Hive、内存计算模块Spark、资源管理与调度模块Yarn、分布式文件系统HDFS、全量/增量采集模块Sqoop，以及工作流调度模块oozie；所述大数据综合处理方法包括如下步骤：选定源头子系统的订单号为系统全局标识，对每个子系统相关表增加全局标识的任务，即上游订单完成处理后，下游订单从上游订单获取到所述全局标识并增加到自己的订单记录；对订单的流转(血缘关系)做直观的展示，并提供相应的各种数据管理、查询、展示。 |
