一种流计算应用中实现持久化的方法及装置专利查询专利号|摘要-满商公司网

一种流计算应用中实现持久化的方法及装置

基本信息

申请号	CN201310362269.X	申请日	-
公开（公告）号	CN104424186B	公开（公告）日	2018-04-03
申请公布号	CN104424186B	申请公布日	2018-04-03
分类号	G06F17/30	分类	计算；推算；计数;
发明人	刘健男	申请（专利权）人	阿里巴巴华南技术有限公司
代理机构	北京安信方达知识产权代理有限公司	代理人	阿里巴巴集团控股有限公司
地址	广东省广州市海珠区广州大道南788号自编14栋之233房
法律状态	-

摘要

本申请公开了一种流计算应用中实现持久化的方法及装置，包括当前批次消息消费成功，根据第一起始偏移量和预先设置的持久化间隔，判断是否需要进行持久化操作；在需要进行持久化操作时，按照第二起始偏移量指示的消息位置进行持久化处理，并在持久化成功后，将第一起始偏移量和第二起始偏移量均更新为下一批次消息的起始偏移量。本申请中的持久化操作是在持久化间隔后进行的，增大了磁盘持久化的时间间隔，从而大大提高实时计算效率。在故障恢复时，最多只需要重新消费持久化间隔内的批次的消息，避免了现有同步持久化中频繁写磁盘带来的性能瓶颈，实时计算的消息吞吐性能提升了一个数量级；同时，将故障恢复带来的延迟缩短到了秒级，不会影响实时性。