一种基于消息队列的数据处理方法、装置、计算机设备和存储介质
基本信息
申请号 | CN202110910953.1 | 申请日 | - |
公开(公告)号 | CN113609429A | 公开(公告)日 | 2021-11-05 |
申请公布号 | CN113609429A | 申请公布日 | 2021-11-05 |
分类号 | G06F16/958(2019.01)I | 分类 | 计算;推算;计数; |
发明人 | 曾文清;刘翔;虞孝伟 | 申请(专利权)人 | 广州至真信息科技有限公司 |
代理机构 | 广州佳睿知识产权代理事务所(普通合伙) | 代理人 | 徐燕萍 |
地址 | 510000广东省广州市天河区建工路4号5楼(仅限办公用途) | ||
法律状态 | - |
摘要
摘要 | 本发明涉及一种基于消息队列的数据处理方法、装置、计算机设备和存储介质,该方法包括:服务端获取待统计网站在预设周期内的各页面浏览量、各页面点击量的动作流数据总量;服务端根据各页面浏览量以及各页面点击量,获取消息队列主题名称;将消息队列主题名称,以及动作流数据总量与预设抽样统计规则进行匹配,得到匹配的数据压缩比例;根据该数据压缩比例,对动作流数据总量执行数据抽样,得到统计结果数据发送到消费端;消费端接收统计结果数据,根据结果数据中的数据压缩比例复原统计结果数据,并存储在预设数据库中。实现对动作流数据实时分析和处理,从而减少消息队列生产和消费数据的量级,达到降低成本的效果。 |
