流式数据处理方法、系统、电子设备及存储介质

基本信息

申请号 CN201910017652.9 申请日 -
公开(公告)号 CN109766363B 公开(公告)日 2021-06-11
申请公布号 CN109766363B 申请公布日 2021-06-11
分类号 G06F16/2455 分类 计算;推算;计数;
发明人 韩朝永 申请(专利权)人 北京江融信科技有限公司
代理机构 北京天盾知识产权代理有限公司 代理人 张彩珍
地址 100080 北京市海淀区苏州街55号3层01-A441
法律状态 -

摘要

摘要 本发明提供一种流式数据处理方法、系统、电子设备及存储介质,每个计算节点与多个客户端节点连接;每个数据缓存节点与多个客户端节点连接,每个数据缓存节点与多个计算节点连接;每个客户端节点与多个数据缓存节点连接,每个客户端节点与多个数据缓存节点连接;当一个数据缓存节点或计算节点或客户端节点宕机后,正常的计算节点和/或数据缓存节点和/或客户端节点在检测n次后未收到宕机的数据缓存节点的回馈,则将该宕机的数据缓存节点或计算节点或客户端节点宕机踢出集群。通过上述计算节点、数据缓存节点和客户端节点的去中心化的连接方式,不存在单点故障,保证了该数据处理系统系统的高可用性。