用于流式计算的数据处理方法、装置、设备及介质

基本信息

申请号 CN202210505210.0 申请日 -
公开(公告)号 CN114756564A 公开(公告)日 2022-07-15
申请公布号 CN114756564A 申请公布日 2022-07-15
分类号 G06F16/23(2019.01)I;G06F16/2458(2019.01)I;G06F16/27(2019.01)I 分类 计算;推算;计数;
发明人 易晓博 申请(专利权)人 中国平安财产保险股份有限公司
代理机构 深圳市沃德知识产权代理事务所(普通合伙) 代理人 -
地址 518000广东省深圳市福田街道益田路5033号平安金融中心12、13、38、39、40、62层
法律状态 -

摘要

摘要 本发明涉及数据处理技术,揭露一种用于流式计算的数据处理方法,包括:对预设数据进行分区及分桶的存储;监听到用户对所述预设数据执行新增操作或删除操作时,生成相应的新增数据文件及删除数据文件;定时对所述新增数据文件及所述删除数据文件进行合并,根据所述合并结果刷新所述预设数据,并删除已合并的新增数据文件及已合并的删除数据文件;监听到用户对所述预设数据执行更新操作时,识别所述更新操作对应的待更新数据所在的分桶,从所述待更新数据所在的分桶中获取所述待更新数据,并根据所述更新操作更新所述待更新数据。本发明还提出一种用于流式计算的数据处理装置、设备以及介质。本发明可以提升流式计算的效率。