规划数据仓库
在分区数据库环境下,数据库创建完成后会自动生成下面 3 个默认的数据库分区组:
IBMCATGROUP 分区组用于存储系统编目表和视图,该分区组只会创建在编目分区上。
IBMDEFAULTGROUP 分区组是默认的表空间分区组,如果在创建表空间的时候不指定分区组就使用这个分区组,这个分区组包含所有的数据库分区。
IBMTEMPGROUP 分区组是默认的临时表空间分区组,这个分区组包含所有的数据库分区。
通常在实际应用中我们会创建新的数据库分区组,在本文中创建下面两个数据库分区组:
SDPG 分区组用于存储单分区表,这个分区组只包含分区 0,一般情况下我们把维表或基础表存储在该分区组
PDPG 分区组用于存储分区数据,这个分区组包含所有数据节点的分区,一般情况下我们把事实表或其他汇总表存储在该分区组
清单 25. 创建数据库
mkdir /db2fs chown db2inst1:db2iadm1 /db2fs su - db2inst1 db2 create database edw on /db2fs using codeset GBK territory CN db2 connect to edw |
数据库默认的缓冲池大小是 4K,我们创建一个 16K 的缓冲池 bp_16k。
清单 26. 创建缓冲池
db2 create bufferpool bp_16k all dbpartitionnums size 500 pagesize 16k |
创建数据库分区组 SDPG 和 PDPG
清单 27. 创建分区组
db2 "create database partition group sdpg on dbpartitionnums(0)" db2 "create database partition group pdpg on dbpartitionnums(1 to 4)" |
我们创建 4 个数据库管理(DMS)表空间,tbs_pd 表空间属于分区组
PDPG,用来存储事实表等分区表的数据。
tbs_sd 表空间属于分区组 SDPG,用来存储维表或者基础表等非分区表的数据。
tbs_tmp 系统临时表空间属于默认的分区组 IBMTEMPGROUP,tbs_inx 表空间属于分区组
PDPG,用来存储索引。
清单 28. 创建表空间
db2 "create tablespace tbs_pd in database partition group pdpg pagesize 16k managed by database using(file '/db2fs/db2inst1/NODE000 \$N /tbs_pd' 1g) bufferpool bp_16k autoresize yes increasesize 100m" db2 "create tablespace tbs_sd in database partition group sdpg pagesize 16k managed by database using(file '/db2fs/db2inst1/NODE000 \$N /tbs_sd' 1g) bufferpool bp_16k autoresize yes increasesize 100m" db2 "create temporary tablespace tbs_tmp in database partition group ibmtempgroup pagesize 16k managed by database using(file '/db2fs/db2inst1/NODE000 \$N /tbs_tmp' 1g) bufferpool bp_16k autoresize yes" db2 "create tablespace tbs_inx in database partition group pdpg pagesize 16k managed by database using(file '/db2fs/db2inst1/NODE000 \$N /tbs_inx' 1g) bufferpool bp_16k autoresize yes increasesize 100m" |
应用数据仓库
IBM 商务智能解决方案概述
IBM 商务智能解决方案由数据整合平台、数据仓库平台、商务智能平台和数据治理平台组成。在数据仓库平台,通过
InfoSpere Warehouse 建立企业级数据仓库,形成统一的业务数据管理平台,为企业各个业务部门提供业务数据和基础数据;然后在数据仓库的基础上建立面向特定主题或部门的数据集市。在数据整合平台,通过
DataStage 从各个生产业务系统抽取数据,并按业务规则进行转换清洗,最后把处理结果加载到数据仓库平台,从而打破信息孤岛。在商务智能平台,通过
Cognos 建立分析模型、KPI,实现仪表盘、即席查询、多维分析、移动应用和业务报表等多种功能。在数据治理平台,通过
Metadata Workbench 和 Business Glossary 实现元数据管理,通过 Information
Analyzer 建立的规则实现数据质量管控。本文将介绍 IBM 商务智能项目开发的初始工作:如何配置
DataStage、Cognos 与 InfoSpere Warehouse 数据仓库的连接。
配置 DataStage 连接
更改 /etc/hosts,加入下面的内容。注意:需要注释 127.0.0.1,这样做的目的是避免
DataStage 在连接 DB2 的时候出错。
清单 29. 配置信息
#127.0.0.1 localhost 192.168.22.135 dwserver1 |
在 DataStage 服务器上编目管理节点 dwserver1 上的实例和数据库
清单 30. 编目实例和数据库
db2 catalog tcpip node edw remote 192.168.22.135 server 50000 db2 catalog database edw at node edw |
以 root 用户登录修改 dsenv,加入 DB2 库文件所在的路径。如果在
DataStage 服务器上安装的 DB2 客户端版本是 10,那么路径是 /opt/ibm/db2/V10.1/lib64。
清单 31. 设置 DataStage 环境变量
su - root cd /opt/IBM/InformationServer/Server/DSEngine vi dsenv export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/IBM/db2/V9/lib64 . dsenv |
清单 32. 重启 DataStage Engine 和 ASB Agent
cd /opt/IBM/InformationServer/Server/DSEngine/bin ./uv -admin -stop cd /opt/IBM/InformationServer/ASBNode/bin ./NodeAgents.sh stop cd /opt/IBM/InformationServer/ASBNode/bin ./NodeAgents.sh start cd /opt/IBM/InformationServer/Server/DSEngine/bin ./uv -admin -start |
在 DataStage Designer 创建并行作业,使用 DB2 Connector
阶段连接数据仓库。
选择 DB2 Connector
接下来配置 DB2 Connector 的连接参数,在 Database
项输入 edw,然后输入 DB2 实例用户 db2inst1 以及密码,点击 Test 测试连接是否能正常工作。
如果出现下图,意味着成功建立 DataStage 到 InfoSphere
Warehouse 数据仓库的连接。
设置连接参数
连接成功
配置 Cognos 连接
在 Cognos 服务器上编目管理节点 dwserver1 上的实例和数据库。
清单 33. 编目实例和数据库
db2 catalog tcpip node edw remote 192.168.22.135 server 50000 db2 catalog database edw at node edw |
在浏览器输入 http://cogserver/ibmcognos进入到
Cognos Connection。点击 Administer IBM Cognos content,进入到
Cognos 管理配置界面。
进入 Cognos 管理界面
点击 Configuration 选项卡,然后点击右上角的创建数据源按钮,创建
Cognos 到 InfoSphere Warehouse 的连接。
创建数据源
输入数据源名称 EDW,点击 Next 进入下一步。
数据源名称
选择 IBM DB2 作为数据源类型,点击 Next 进入下一步
数据源类型
输入数据库名称 edw 以及实例用户密码,点击 Test the connection
测试连接是否能正常工作。
数据库信息
点击 Test 按钮测试连接
测试连接
显示连接测试成功,至此 Cognos 与 InfoSphere Warehouse
连接配置完成。
测试成功
|