数据处理方法、装置及系统、数据查询方法及系统

基本信息

申请号 CN202110290417.6 申请日 -
公开(公告)号 CN112860710A 公开(公告)日 2021-05-28
申请公布号 CN112860710A 申请公布日 2021-05-28
分类号 G06F16/2455(2019.01)I;G06F16/22(2019.01)I;G06F16/2453(2019.01)I 分类 计算;推算;计数;
发明人 徐雪芳;谢梁洋;高国勇;杨伟丽 申请(专利权)人 杭州云灵科技有限公司
代理机构 杭州裕阳联合专利代理有限公司 代理人 杨琪宇
地址 310000浙江省杭州市上城区婺江路217号2号楼705室
法律状态 -

摘要

摘要 本发明公开一种数据处理方法及系统,还公开一种数据查询方法及系统,其中数据处理方法包括以下步骤:配置查询维度;从第一消息队列中订阅获得与所述查询维度相对应的业务数据,获得待处理数据;对所述待处理数据进行处理,获得相应的整合数据并将其存储至目标数据库,并将所述整合数据所对应的时间戳作为第一消息偏移量,所述第一消息偏移量用于标识第一消息队列中所述整合数据所对应的消息的位置。本发明通过对消息偏移量的设计避免数据处理过程中数据丢失,能够基于查询维度批量处理数据,所得的整合数据能够为后续数据查询提供数据支持。