首页/ 浙江岩华文化科技有限公司/ 专利详情

基于流式计算框架的多线程数据处理方法、装置和介质

基本信息

申请号 CN202011618342.1 申请日 -
公开（公告）号 CN112286582B 公开（公告）日 2021-03-16
申请公布号 CN112286582B 申请公布日 2021-03-16
分类号 G06F9/38(2006.01)I 分类 计算；推算；计数;
发明人 王秀双;马旭东;赵玉红;李良敏;赵春波 申请（专利权）人 浙江岩华文化科技有限公司
代理机构 杭州华进联浙知识产权代理有限公司 代理人 范丽霞
地址 313200浙江省湖州市德清县舞阳街道塔山街901号1幢101室
法律状态 -

摘要

摘要 本申请涉及一种基于流式计算框架的多线程数据处理方法、装置和存储介质，通过基于预先设置的第一水位线触发目标窗口处理数据切片，得到第一处理结果；若未被处理的数据切片中存在事件时间戳小于目标窗口的结束时间戳的迟滞数据切片，则记录流式计算框架接收迟滞数据切片的系统时间戳；设置第二水位线，其中，第二水位线的延迟时间不小于迟滞数据切片的系统时间戳与目标窗口的结束时间戳之差；基于第二水位线重新触发目标窗口处理数据切片，得到第二处理结果，并根据第二处理结果校正第一处理结果，解决了基于流式计算框架的计算结果不准确的问题，在保证一定数据处理时效性的情况下，提升了计算结果的准确度。