求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
  
 
 
     
   
分享到
InfoSphere Warehouse 10.1 规划和应用
 
火龙果软件    发布于 2013-10-16
 

规划数据仓库

在分区数据库环境下,数据库创建完成后会自动生成下面 3 个默认的数据库分区组:

IBMCATGROUP 分区组用于存储系统编目表和视图,该分区组只会创建在编目分区上。

IBMDEFAULTGROUP 分区组是默认的表空间分区组,如果在创建表空间的时候不指定分区组就使用这个分区组,这个分区组包含所有的数据库分区。

IBMTEMPGROUP 分区组是默认的临时表空间分区组,这个分区组包含所有的数据库分区。

通常在实际应用中我们会创建新的数据库分区组,在本文中创建下面两个数据库分区组:

SDPG 分区组用于存储单分区表,这个分区组只包含分区 0,一般情况下我们把维表或基础表存储在该分区组
PDPG 分区组用于存储分区数据,这个分区组包含所有数据节点的分区,一般情况下我们把事实表或其他汇总表存储在该分区组

清单 25. 创建数据库

 mkdir /db2fs 
chown db2inst1:db2iadm1 /db2fs
su - db2inst1
db2 create database edw on /db2fs using codeset GBK territory CN
db2 connect to edw

数据库默认的缓冲池大小是 4K,我们创建一个 16K 的缓冲池 bp_16k。

清单 26. 创建缓冲池

db2 create bufferpool bp_16k all dbpartitionnums size 500 pagesize 16k

创建数据库分区组 SDPG 和 PDPG

清单 27. 创建分区组

db2 "create database partition group sdpg on dbpartitionnums(0)"
db2 "create database partition group pdpg on dbpartitionnums(1 to 4)"

我们创建 4 个数据库管理(DMS)表空间,tbs_pd 表空间属于分区组 PDPG,用来存储事实表等分区表的数据。

tbs_sd 表空间属于分区组 SDPG,用来存储维表或者基础表等非分区表的数据。 tbs_tmp 系统临时表空间属于默认的分区组 IBMTEMPGROUP,tbs_inx 表空间属于分区组 PDPG,用来存储索引。

清单 28. 创建表空间

db2 "create tablespace tbs_pd in database partition group pdpg 
pagesize 16k managed by database
using(file '/db2fs/db2inst1/NODE000 \$N /tbs_pd' 1g)
bufferpool bp_16k autoresize yes increasesize 100m"
db2 "create tablespace tbs_sd in database partition group sdpg
pagesize 16k managed by database
using(file '/db2fs/db2inst1/NODE000 \$N /tbs_sd' 1g)
bufferpool bp_16k autoresize yes increasesize 100m"
db2 "create temporary tablespace tbs_tmp in database partition group ibmtempgroup
pagesize 16k managed by database
using(file '/db2fs/db2inst1/NODE000 \$N /tbs_tmp' 1g)
bufferpool bp_16k autoresize yes"
db2 "create tablespace tbs_inx in database partition group pdpg
pagesize 16k managed by database
using(file '/db2fs/db2inst1/NODE000 \$N /tbs_inx' 1g)
bufferpool bp_16k autoresize yes increasesize 100m"

应用数据仓库

IBM 商务智能解决方案概述

IBM 商务智能解决方案由数据整合平台、数据仓库平台、商务智能平台和数据治理平台组成。在数据仓库平台,通过 InfoSpere Warehouse 建立企业级数据仓库,形成统一的业务数据管理平台,为企业各个业务部门提供业务数据和基础数据;然后在数据仓库的基础上建立面向特定主题或部门的数据集市。在数据整合平台,通过 DataStage 从各个生产业务系统抽取数据,并按业务规则进行转换清洗,最后把处理结果加载到数据仓库平台,从而打破信息孤岛。在商务智能平台,通过 Cognos 建立分析模型、KPI,实现仪表盘、即席查询、多维分析、移动应用和业务报表等多种功能。在数据治理平台,通过 Metadata Workbench 和 Business Glossary 实现元数据管理,通过 Information Analyzer 建立的规则实现数据质量管控。本文将介绍 IBM 商务智能项目开发的初始工作:如何配置 DataStage、Cognos 与 InfoSpere Warehouse 数据仓库的连接。

配置 DataStage 连接

更改 /etc/hosts,加入下面的内容。注意:需要注释 127.0.0.1,这样做的目的是避免 DataStage 在连接 DB2 的时候出错。

清单 29. 配置信息

#127.0.0.1 	 localhost 
192.168.22.135 dwserver1

在 DataStage 服务器上编目管理节点 dwserver1 上的实例和数据库

清单 30. 编目实例和数据库

db2 catalog tcpip node edw remote 192.168.22.135 server 50000 
db2 catalog database edw at node edw

以 root 用户登录修改 dsenv,加入 DB2 库文件所在的路径。如果在 DataStage 服务器上安装的 DB2 客户端版本是 10,那么路径是 /opt/ibm/db2/V10.1/lib64。

清单 31. 设置 DataStage 环境变量

 su - root 
cd /opt/IBM/InformationServer/Server/DSEngine
vi dsenv
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/IBM/db2/V9/lib64
. dsenv

清单 32. 重启 DataStage Engine 和 ASB Agent

cd /opt/IBM/InformationServer/Server/DSEngine/bin 
./uv -admin -stop
cd /opt/IBM/InformationServer/ASBNode/bin
./NodeAgents.sh stop
cd /opt/IBM/InformationServer/ASBNode/bin
./NodeAgents.sh start
cd /opt/IBM/InformationServer/Server/DSEngine/bin
./uv -admin -start

在 DataStage Designer 创建并行作业,使用 DB2 Connector 阶段连接数据仓库。

选择 DB2 Connector

接下来配置 DB2 Connector 的连接参数,在 Database 项输入 edw,然后输入 DB2 实例用户 db2inst1 以及密码,点击 Test 测试连接是否能正常工作。

如果出现下图,意味着成功建立 DataStage 到 InfoSphere Warehouse 数据仓库的连接。

设置连接参数

连接成功

配置 Cognos 连接

在 Cognos 服务器上编目管理节点 dwserver1 上的实例和数据库。

清单 33. 编目实例和数据库

db2 catalog tcpip node edw remote 192.168.22.135 server 50000 
db2 catalog database edw at node edw

在浏览器输入 http://cogserver/ibmcognos进入到 Cognos Connection。点击 Administer IBM Cognos content,进入到 Cognos 管理配置界面。

进入 Cognos 管理界面

点击 Configuration 选项卡,然后点击右上角的创建数据源按钮,创建 Cognos 到 InfoSphere Warehouse 的连接。

创建数据源

输入数据源名称 EDW,点击 Next 进入下一步。

数据源名称

选择 IBM DB2 作为数据源类型,点击 Next 进入下一步

数据源类型

输入数据库名称 edw 以及实例用户密码,点击 Test the connection 测试连接是否能正常工作。

数据库信息

点击 Test 按钮测试连接

测试连接

显示连接测试成功,至此 Cognos 与 InfoSphere Warehouse 连接配置完成。

测试成功

相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
 
分享到
 
 


MySQL索引背后的数据结构
MySQL性能调优与架构设计
SQL Server数据库备份与恢复
让数据库飞起来 10大DB2优化
oracle的临时表空间写满磁盘
数据库的跨平台设计
更多...   


并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理


GE 区块链技术与实现培训
航天科工某子公司 Nodejs高级应用开发
中盛益华 卓越管理者必须具备的五项能力
某信息技术公司 Python培训
某博彩IT系统厂商 易用性测试与评估
中国邮储银行 测试成熟度模型集成(TMMI)
中物院 产品经理与产品管理
更多...