一种基于Hive的高校数据仓库分层设计方法
基本信息
| 申请号 | CN201811098136.5 | 申请日 | - |
| 公开（公告）号 | CN109189764A | 公开（公告）日 | 2019-01-11 |
| 申请公布号 | CN109189764A | 申请公布日 | 2019-01-11 |
| 分类号 | G06F16/21;G06F16/28 | 分类 | 计算；推算；计数; |
| 发明人 | 杨连群 | 申请（专利权）人 | 北京桃花岛信息技术有限公司 |
| 代理机构 | 合肥中谷知识产权代理事务所（普通合伙） | 代理人 | 洪玲 |
| 地址 | 100089 北京市海淀区玲珑路9号院东区8号楼12层1218 | ||
| 法律状态 | - | ||
摘要
| 摘要 | 本发明涉及一种基于Hive的高校数据仓库分层设计方法，包括：获取数据，使用ETL工具进行数据抽取，将获取的结构化、非结构化数据同步到Hive平台上；使用Hive构建数据仓库，将数据仓库分为ODS数据存储层、DWD数据明细层、DW数据汇总层、DWA数据应用层；数据仓库建模，确定分析主题，使用维度建模法，使用最小粒度设计维表，设计事实表；设计事实表，分为事实表‑非分区表，和分区事实表。本发明提出的数据仓库分层设计相比其他大数据仓库设计三层分析处理更灵活，可扩展性强，后期可根据业务需求增加相应的分析主题，将Hive大数据平台优点和数据仓库星型模型设计方法高效地结合起来。 |
