一种舆情数据处理系统

基本信息

申请号 CN202011264118.7 申请日 -
公开(公告)号 CN112380852A 公开(公告)日 2021-02-19
申请公布号 CN112380852A 申请公布日 2021-02-19
分类号 G06F40/284(2020.01)I; 分类 计算;推算;计数;
发明人 齐中祥 申请(专利权)人 沃民高新科技(北京)股份有限公司
代理机构 北京知呱呱知识产权代理有限公司 代理人 丁彦峰
地址 100086北京市海淀区中关村大街甲28号海淀文化艺术大厦B座14层西
法律状态 -

摘要

摘要 本发明提供一种舆情数据处理系统,包括:数据规范化模块、数据仓库构建模块、存储及计算引擎选择模块;数据规范化模块用于对系统的数据按照统一标准进行规范化处理;数据仓库构建模块包括ODS层、数据明细层、数据汇总层和应用层;ODS层用于对各类数据源的实时消息队列,离线数据的文件进行快照和备份;数据明细层用于对备份的数据进行实时的维度检索;数据汇总层用于对明细数据层的数据涉及的共性指标进行宽度汇总;应用层用于通过RPC框架对外提供服务。本发明通过规范化来缩短研发时间及精力成本;通过数据仓库的建设,降低使用门槛、统一数据标准、支撑上层更合理的架构在使用上构建能发挥到最大性能的场景,从而支撑应用层上的快速响应。