您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
数据仓库之数据模型
 
作者昵称: MOJY_1825
   次浏览      
 2021-7-6 
 
编辑推荐:
本文主要介绍了数据仓库数据模型、维度模型和关系模型及互联网数据仓库数据模型。
本文来自csdn,由火龙果软件Linda编辑、推荐。

关于数据仓库的概念,这里不再累赘。先看下面的图(数据仓库建设的7个主要环节):

本文,主要针对第三块数据仓库模型设计来讨论交流,尤其是互联网行业。

一、关于数据仓库数据模型

1. 数据仓库数据模型是指使用实体、属性及其关系对企业运营和逻辑规则进行统一的定义、编码和命名;是业务人员和开发人员之间沟通的一套语言。

2. 数据仓库数据模型的作用:

· 统一企业的数据视图;

· 定义业务部门对于数据信息的需求;

· 是构建数据仓库原子层的基础;

· 支持数据仓库的发展规划;

· 初始化业务数据的归属;

3. 数据仓库数据模型与业务系统数据模型设计的区别:

4. 数据仓库数据模型设计的先后次序

· 概念模型设计(业务模型):界定系统边界;确定主要的主题域及其内容;

· 逻辑模型设计:维度建模方法(事实表、维度表);以星型和雪花型来组织数据;

· 物理模型设计:将数据仓库的逻辑模型物理化到数据库的过程;

二、关于维度模型和关系模型

关系建模又叫ER建模,是数据仓库之父Inmon推崇的,其从全企业的高度设计一个3NF模型的方法,用实体加关系描述的数据模型描述企业业务架构,在范式理论上符合3NF,其是站在企业角度进行面向主题的抽象,而不是针对某个具体业务流程的,它更多是面向数据的整合和一致性治理,正如Inmon所希望达到的“single version of the truth”。

维度模型则是数据仓库领域另一位大师Ralph Kimball 所倡导的。维度建模以分析决策的需求为出发点构建模型,一般有较好的大规模复杂查询的响应性能,更直接面向业务,典型的代表是我们比较熟知的星形模型,以及在一些特殊场景下适用的雪花模型。

两者的主要区别在于灵活性和性能方面。

另外,关系模型要求数据以最细粒度存在,而多维模型则以轻粒度汇总数据存在。

(记得十年前,某大型保险公司实施EDW项目,采用的就是关系模型,由IBM专门的团队负责建模,好家伙)。

在我看来,如果不是实施业务相对成熟的EDW,大多数据仓库均会采用维度模型建模;

三、互联网数据仓库数据模型

1. 互联网数据仓库的现实状况

2. 我们的模型方法选择

在我们的数据仓库中,除了各个主题域下的维度模型,还存在一些宽表模型。所谓宽表模型,是基于维度模型的扩展,采用退化维度的方式,将不同维度的度量放入数据表的不同的列中;它更易于理解,具有更高的查询效率;易于模型扩展;

事实证明,在海量数据环境下,对业务查询的支撑,宽表在性能和易用性方面,都达到了比较理想的效果。

   
次浏览       
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新活动计划
LLM大模型应用与项目构建 12-26[特惠]
QT应用开发 11-21[线上]
C++高级编程 11-27[北京]
业务建模&领域驱动设计 11-15[北京]
用户研究与用户建模 11-21[北京]
SysML和EA进行系统设计建模 11-28[北京]
 
最新文章
InfluxDB概念和基本操作
InfluxDB TSM存储引擎之数据写入
深度漫谈数据系统架构——Lambda architecture
Lambda架构实践
InfluxDB TSM存储引擎之数据读取
最新课程
Oracle数据库性能优化、架构设计和运行维护
并发、大容量、高性能数据库设计与优化
NoSQL数据库(原理、应用、最佳实践)
企业级Hadoop大数据处理最佳实践
Oracle数据库性能优化最佳实践
更多...   
成功案例
某金融公司 Mysql集群与性能优化
北京 并发、大容量、高性能数据库设计与优化
知名某信息通信公司 NoSQL缓存数据库技术
北京 oracle数据库SQL优化
中国移动 IaaS云平台-主流数据库及存储技术
更多...