基于事件心跳和多版本的Flink流维Join通用处理方法
基本信息
| 申请号 | CN202011179330.3 | 申请日 | - |
| 公开（公告）号 | CN112307023A | 公开（公告）日 | 2021-02-02 |
| 申请公布号 | CN112307023A | 申请公布日 | 2021-02-02 |
| 分类号 | G06F16/22(2019.01)I; | 分类 | 计算；推算；计数; |
| 发明人 | 王慧 | 申请（专利权）人 | 杭州微拍堂文化创意有限公司 |
| 代理机构 | 杭州求是专利事务所有限公司 | 代理人 | 陈升华 |
| 地址 | 310012浙江省杭州市西湖区文三路408号5幢424室 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明公开了一种基于事件心跳和多版本的Flink流维Join通用处理方法，包括：快照服务器接收来自存储端发送的心跳事件，将接收到的心跳事件按不同数据集分类，合并来自相同数据集分区的心跳生成该分区的快照，合并相同数据集所有分区的快照生成数据集的快照；用户在Flink服务上进行流维Join计算，根据不同流维所属的数据集查询该快照，生成水印，Flink服务根据水印触发流计算，生成计算结果，写入存储端。本发明在满足静态维表Join、支持异步、缓存动态维表Join以及动态维表Join以上场景的同时，做到维表在任务间共享；同时回刷数据时可以Join到历史时刻的维表数据，保证回刷数据的准确性。 |
