一种用于轨道交通多源流数据的分布式实时处理方法
基本信息
申请号 | CN201910350049.2 | 申请日 | - |
公开(公告)号 | CN110096520B | 公开(公告)日 | 2021-08-17 |
申请公布号 | CN110096520B | 申请公布日 | 2021-08-17 |
分类号 | G06F16/2455 | 分类 | 计算;推算;计数; |
发明人 | 高杨;王刚;黄滔;鲍迪恩 | 申请(专利权)人 | 浙江邦盛科技股份有限公司 |
代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 刘静;邱启旺 |
地址 | 310012 浙江省杭州市西湖区西斗门路3号天堂软件园D幢17层ABCD座 | ||
法律状态 | - |
摘要
摘要 | 本发明公开了一种用于轨道交通多源流数据的分布式实时处理方法,该方法包括多源流数据的合并和合并后流数据的分布式处理两部分;多源流数据的合并首先对同一轨道线路上同一车辆的实时数据进行维度上的合并,对维度合并后得到的新流进行广度上的合并;合并后流数据的分布式处理在分布式系统上实现,分布式系统拥有两种类型的Manager,分别为JobManager以及TaskManager;设置多个JobManager;本发明具有一定的伸缩度,且整个架构的伸缩不会降低或增加整体的流处理计算量;本发明拥有性能高的特点;本发明在进行分布式处理时,采用了分布式多JobManager状态同步的方式实现了完全的分布式处理。 |
