前言

SalesMarket 是我们虚构的一家大型跨国终端零售超市连锁企业，IBM SPSS Modeler 产品助力 SalesMarket 的快速成长和扩展，SalesMarket 多年来采用 IBM SPSS Modeler 进行数据挖掘与预测统计分析，相关业务外包给 DataUpper Inc。DataUpper 基于 SalesMarket 提供的数据及相关需求进行数据挖掘模型设计，交付 SalesMarket 部署使用。

多年来，此业务模式运行良好并对 SalesMarket 的科学决策及快速成长提供了有力的支持。

数据为王：SalesMarket Corp. 的预测分析需求

各种的运营数据是 SalesMarket 核心的核心资产与商业机密，使用 Modeler 对运营数据进行分析挖掘，提供基于运营数据统计的预测分析，使 SalesMarket 的战略、战术决策快速而准确。随着 SalesMarket 的成长，企业数据环境日益复杂，SalesMarket 在数据分析解决方案的安全性、可管理性、易用性、可扩展性、灵活性，以及性能方面有了越来越急迫的需求：

1.需要完整的安全管理模型保证服务器、数据库和各种帐号信息存储和传输的安全：服务器、数据库、各种帐号和密码是 SalesMarket 的核心资产之一，传统的 Modeler 应用需要终端用户获得各种核心机密的授权。SalesMarket 要求终端用户可以透明的使用被授权的资料，而不必获取数据服务器、数据库的地址、登录凭证等信息。

2.需要完整的基于职责的工作角色划分以及团队协作： IT 部门掌控服务器、数据库、登录凭证等核心资源；外包公司 DataUpper 负责模型的设计，和部署；管理人员直接使用模型获得分析结果。在此体系中，SalesMarket 可以控制每个角色和帐号的权限。

3.高效的管理和维护 Modeler 模型：随着部署的 Modeler 模型文件的增多，管理和维护模型的成本越来越高昂。如何保持可控的版本追溯？如何定期的使用新的数据训练模型？如何在众多的模型中及其各个版本间甄别出最优的模型？服务器地址、数据库地址名称发生变化时，如何在成千上万的模型中更新？……

4.提高的易用性：使用 Modeler Client/Server，即使在培训后对于管理人员来说也过于专业。

5.如何管理复杂的数据：越来越多的信息管理系统在 SalesMarket 部署和应用，POS 销售、财务、物流管理……。数据分布存储在各种异构的系统中，如何获取、分析，统一管理这些数据变得越来越困难。

6.海量数据处理的性能：随着规模的扩张，SalesMarket 每天产生的运营数据数以 G 计，使用 Modeler 运行一次数据分析的时间越来越长。SalesMarket 需要更快速度的数据分析服务。

7.即时数据分析服务：SalesMarket 拓展了新的业务领域，开展分期付款业务，要求对客户资料、资信进行实时分析。

8.良好的可扩展性：SalesMarket 需要预测分析解决方案可以与企业其他 IT 系统无缝集成。例如使用 Window AD 域帐户集成 / 单点登录，与企业报表系统集成……

IBM SPSS 多年来专注于提供企业级用户的数据挖掘与预测分析解决方案，IBM SPSS Deployment 产品组提供了在企业环境下集成与部署 IBM SPSS Modeler 以及其他产品的解决方案，从而满足企业用户在安全性、可管理性、易用性、可扩展性、灵活性、性能方面的要求。

初识 IBM SPSS C&DS 与 Modeler

IBM SPSS 提供了完整的产品线，满足用户从数据收集、科学统计、数据挖掘到预测分析全线需求。

表 1. SPSS 产品线

表 2. IBM SPSS Deployment 产品族

表 3. IBM SPSS C&DS 产品一览

珠联璧合：通过 IBM SPSS C&DS 无缝集成 IBM SPSS Modeler

部署和应用 IBM SPSS Modeler 产品，用户将获得专业的数据挖掘与预测分析能力，与 C&DS 集成部署极大扩展和倍增 Modeler 的数据挖掘与预测分析能力。

安装 Modeler for C&DS Adapter

Modeler 发行版 DVD 中提供了 Modeler Adapter For C&DS 安装程序，放入安装光盘，跟随安装向导，可以方便的集成 Modeler 与 C&DS：

图 1. 安装 Modeler Adapter

Modeler 应用架构：

Modeler 是一个基于传统的 C/S 架构为用户提供数据挖掘与预测分析能力，其架构图如下所示。

图 2. Modeler 应用架构示意

C&DS/Modeler 企业级架构

集成 Modeler 到 C&DS 后，C&DS 使用 Modeler Server 作为预测分析服务引擎，以 C&DS 作为预测分析服务平台，向终端用户提供团队协作、自动化服务、部署服务，解决方案结构图如下：

图 3. 集成后的 C&DS/Modeler 应用架构

使用 Modeler Client 部署 Stream 到 C&DS

在 Modeler Client 模型编辑器空白区点击右键 -> 部署为流，方便地部署 Stream(.str) 模型文件到 C&DS：

图 4. 部署 Stream 流文件

Modeler 文件存储格式：

Stream 流文件（.str）：Modeler 默认存储格式。

Scenario 文件（.scn）：开启了企业级特性的，C&DS 中可自动管理、进化、评分、评优的流文件。

使用 Modeler Client 部署 Scenario 到 C&DS

部署为 Scenario 文件要求模型必须使用 Enterprise View 企业数据源，当模型使用企业数据时，极大的提高模型的灵活性、可扩展性、可管理性。

在 Modeler Client 模型编辑器空白区点击右键 -> 流属性 -> 部署，可以方便的部署为 Scenario 文件：

图 5. 部署 Scenario 文件

部署 Stream、Scenario 模型文件到 C&DS 后，用户即可使用 C&DS 提供的企业级功能，管理、自动运行和演进模型。

仗剑走天下：使用 Windows AD 域帐号登录到 C&DS 以及 SSO 单点登录

类似于 SalesMarket，大多的企业用用户往往使用 Windows AD 或者其他的域帐户系统管理企业用户。IT 系统与域帐户系统集成，极大的简化了企业的用户管理工作，并使用户获得无缝登录使用其他系统的能力。

C&DS 内建支持 Windows AD、Open LDAP、IBM i 用户管理系统，管理员使用 Deployment Manager 配置 Security Provider 后，即可使用域帐户登录到 C&DS。

图 6. 集成 Windows AD 域

图 7. 以域帐号登录

术业有专攻：角色权限划分最佳实践，基于角色划分的团队协作

在企业环境内，依据专业技能划分岗位，分工合作、团队协作是企业降低成本，提高效率的制胜之道。分析 SalesMarket 的数据挖掘分析应用场景，我们可以发现在整个预测分析的流程中存在下述几种角色：

1.系统管理员。管理控制 SalesMarket 的 IT 资源。

2.数据分析专家，来自外包服务提供商 DataUpper。设计和部署 Modeler 模型。

3.管理人员，预测分析服务消费者。使用预测分析服务做出管理决策。

传统的数据挖掘场景下，数据分析专家和管理人员必须获知各种 IT 资源，才能设计、运行和使用 Modeler 模型，在此过程中存在诸多的安全性隐患。在 IT 资源发生变化后，模型的维护困难；更新 Modeler 模型、培训、相关的沟通管理工作，需要巨大的成本支出。

C&DS 内建完整的角色 / 用户 / 权限模型，依据岗位职责划分角色，为角色分配权限；使用角色为用户分组授权，从而组建完整、安全、可控可管的安全管理与团队协作系统。

图 8. 管理用户与角色

系统管理员：系统维护、管理企业资源 Server、DataSource、Credential

IT 系统的维护、服务器域名 / 地址、数据库系统、登录凭证的管理、分发、更新，在 SalesMarket 由专门的 IT Supporting 部门负责。C&DS 默认内建“administrators”角色，仅将此角色授予 IT Supporting 部门。系统管理员拥有对系统的完整控制，系统管理员可以：

系统管理：备份、恢复 C&DS 数据库

定义 Server 信息

定义数据源信息

定义 Credential 登录凭证

创建其他角色、用户；分配权限

读写 Content Repository

规划、运行 Automation Job

创建管理 RSS 订阅服务

创建管理 Notification 服务

……

数据分析专家：设计部署 Modeler 数据挖掘模型到 C&DS

数据分析专家来自外包公司 DataUpper，对 DataUpper 开放各种 IT 核心资源，对于 SalesMarket 来说是承担风险但又不得不为之事。

集成 C&DS 与 Modeler 之后，SalesMarket 可以仅对数据分析专家开放 C&DS 内服务器、数据源、企业数据视图、应用数据视图的访问权限；数据分析专家不必获知服务器、数据库的详细信息即可透明的使用它们。创建数据分析专家“specialists”角色，赋予下列权限：

1.访问 Content Repository 文件夹与内容

2.编辑 Job

3.运行 Job

4.Schedule Job

5.……

管理人员：获取使用数据预测分析结果

企业管理人员是数据挖掘分析结果的消费者。管理人员往往不具备数据挖掘的专业知识，他们仅仅使用预测分析结果作为决策支持依据，或者使用模型为决策做出预期收益分析。

创建“consumer”角色，赋予下列权限：

1.访问 Content Repository 文件夹与内容

2.运行 Job

3.模型评分

4.访问 RSS

5.查看模型管理面板

6.……

小叮当的乾坤袋：使用 Content Repository 管理企业资源

数据挖掘与与预测分析的核心是模型和数据，企业级用户对于模型和数据的安全性、可管理性、易用性往往要求更为严格。IBM SPSS C&DS Content Repository 以虚拟文件系统的方式管理用户的资源、数据、模型、登录凭证，并在此基础上提供企业数据视图、历史版本追溯、透明管理和使用服务器 / 登录凭证、资源锁等功能。

天下一统： EV/AV/DPD 为海量 / 杂乱的企业数据提供统一视图

企业用户的数据往往分散在分布、异构的多个数据存储系统及服务器上，各个数据存储系统之间的数据又往往存在大量的重复和冗余。

C&DS 通过 EV 为企业用户提供统一的数据视图：EV 是对企业数据结构在高层逻辑上的统一，它分离了数据的结构与实际数据存储之间的耦合，从而使数据的消费者以清晰、简单、一致的方式消费使用数据。

EV/AV/DPD

EV： Enterprise View 企业数据视图

AV：Application View 应用视图

DPD： Data Provider Definition 数据提供者

例如 Basket( 购物篮 ) 表是 SalesMarket POS 销售系统中的一份客户消费清单的数据映射和抽象，在完成 Application View 及 DPD 的映射后，后续的模型中将可以透明地使用该数据而解除对实际 POS 销售系统数据机构及数据存储的依赖。

图 9. 企业数据视图

在具体的应用场景下往往只需要使用部分的企业数据集，AV 作为 EV 的一个子集而存在，为特定的应用提供逻辑统一的数据。例如针对商品关联度的分析，仅需要使用购物篮数据，我们可创建 “Baskets 关联分析 AV”：

图 10. 应用视图

EV 与 AV 仅是逻辑上的数据结构，C&DS 使用 DPD 将数据逻辑与实际的数据源关联。在模型及实际的数据分析场景中，模型仅引用 AV 定义的数据结构；而在模型运行时 DPD 为其提供实际的数据，从而解除了模型与物理数据存储之间的耦合关系。当物理数据存储发生变化时，在 C&DS 中集中更新 DPD 即可保证众多的模型平滑升级 。

图 11. DPD 数据提供者

不能说的秘密：统一管理企业资源 Server、DataSource、Credential

企业用户的数据挖掘过程往往牵涉到众多 IT 资源：Modeler 服务器、数据库服务器、各种的登录凭证……
数据挖掘过程与这些核心资源密不可分，对 IT 资源的分配、权限管理、更新不仅是一件复杂、成本巨大的工作，并且往往带来安全管理的问题及企业核心机密流失的风险。

Content Repository 的资源管理系统（Resource Definition）满足企业用户对企业核心资源的管理型、易用性、安全性等方面的需求。资源管理系统可以集中定义、管理、更新服务器与登录凭证等核心资源，从而使其他用户可以透明的使用以定义的资源。

登录凭证

管理员可以集中定义分配给其他用户使用的登录凭证，其他用户可以在不获知用户名 / 密码的前提下在模型和数据挖掘中透明使用已定义的登录凭证。

图 12. 管理登录凭证

服务器

管理员可以集中定义 Modeler Server、C&DS Server 或者其他服务器，在后续的模型或者其他应用中用户仅引用服务器定义，而不必关心服务器的实际位置与配置信息，当服务器发生变动时，仅集中更新服务器定义信息而不必手工一次更新所有的模型文件。

图 13. 管理服务器

数据源

管理员集中定义企业的数据源信息：JDBC 数据库，ODBC 数据库……。定义的数据源可以为 DPD 或者其他应用供给数据。应用引用数据源定义，当物理数据源发生变化时仅更新数据源定义即可在所有的应用中生效。

图 14. 管理数据源

一个都不能少：通过版本化机制追溯历史数据

在 SalesMarket 的数据挖掘的应用历史中，产生了大量的模型文件、分析结果、应用记录……等信息。保持数据挖掘过程的模型、资源、数据、文件的历史信息 / 可追溯性一直是难题。

Version：版本化

Content Repository 中部署的资源、模型与文件的每一次操作都会产生可回滚的历史版本，用户可以打开和使用文件的任意一个版本，从而保证资源的安全性与完整性。

图 15. 文件版本

Label：为版本命名

为了方便的使用和引用版本 ,C&DS 提供了为版本命名“Label”的功能，用户可以为版本赋予可读、可识别、有意义的名字，从而更加方便、快捷地使用它们。

图 16. 版本命名

有理没权别进来：Label Security 数据级访问权限控制

C&DS 权限安全系统为企业管理员提供在“操作”级别控制用户是否可使用系统某部分功能的能力，同时提供 Label Security 机制来保证更细粒度的权限控制。管理员通过定义用户是否可以使用 / 访问特定的命名版本（Label），从而控制用户是否可以读写部署于 Content Repository 中的进行了版本命名的资源或文件。

图 17. 基于版本命名的权限控制

谁动了我的奶酪：使用 Lock 锁定挖掘模型或其他文件

企业用户的数据挖掘与预测分析，是一个基于职责划分，紧密地团队协作过程。在协同工作的环境中，资源的并发和争用往往会破坏数据的完整性。

Content Repository 提供了 Lock 锁机制，用户在锁定了资源后可以独占方式更改资源，从而保证并发环境下的数据完整性。用户可以在 Modeler Client 中可以以“Lock”方式打开模型文件进行编辑，编辑完毕重新存储后将释放资源锁。

图 18. 独占方式打开流文件

淡定、淡定，一切都是 Smart

C&DS 提供了 Job 自动化机制来管理模型、演化模型、自动运行模型，以及将模型的运行结果通知订阅用户。

自动运行 Modeler 数据挖掘模型

IBM SPSS Modeler 是一套功能强大的数据挖掘分析与预测分析套件，但是对于企业管理人员，使用 Modeler 来运行模型往往过于专业而需要大量的培训。

使用 C&DS Job，可以实现模型的定时运行，由事件触发运行，并且能将运行结果以不同的方式通知给用户。

图 19. 自动运行 Modeler 流文件

创建基于 Modeler 模型文件的自动化 Job，即可利用 C&DS 的自动化机制，在管理员一次配置后，定时或基于特定事件自动地触发 Modeler 模型的运行。

图 20. 定时运行 Modeler 流文件

Job 的创建者可以指定在 Job 运行结束以邮件或者 RSS 方式通知订阅用户。

图 21. 自动发送运行结果

自动进化 Modeler 数据挖掘模型

模型在完成设计，部署到企业用户环境中后，需要持续的跟踪、训练、运行、评估，并将此过程的结果反馈到模型的设计中，从而使模型在应用过程中变的越来越准确和适用。

传统的数据挖掘过程中，管理和演化模型往往成本巨大，耗费大量的人力、物力，并且效果低下。C&DS 提供了智能化的模型管理系统帮助企业用户管理和演进数据挖掘模型。

刷新模型（Model Refresh）:使用新的数据训练模型

随着 SalesMarket 业务的拓展及销售数据的积累，需要不断使用新的数据训练模型，从而保证模型的准确性和适用性。基于 C&DS 的 Content Repository 版本 /Label，以及自动化 Job 机制，使用模型管理中模型刷新功能，可以自动化、智能化的使用新数据训练和演化部署的模型。

图 22. 自动刷新模型

模型评估（Model Evaluation）:模型 Gains、Accuracy、Accreditation

客户的消费习惯总是在动态变化的过程中，随着时间的推移，即使在不断地使用新的销售数据刷新关联度分析模型，但是模型是否还适用于分析当前消费者的消费记录，变地越来越不确定。

C&DS 提供模型评估功能可以智能化地对模型本身进行评估，自动地计算模型本身的收益率、准确度、置信度，自动地为用户分析模型的变化趋势。

图 23. 自动对模型评分

模型选优（Champion Challenger）:找到最优挖掘分析模型

针对同一个业务需求，随着时间的推移，会有越来越多的模型被设计出来分析同一个问题，同一个模型随着模型的不断刷新也会有越来越多的历史版本被创建出来，手工的在众多的模型中筛选出针对最准确和有效的模型，是一件非常艰巨的任务。

C&DS 基于模型评估结果，提供了 Champion Challenger 功能帮助用户在众多的模型中智能化地找出最优模型。

图 24. 自动找到最优模型

模型评分（Model Score）:使用模型进行数据挖掘

完成了对模型的演化和选优，现在可以使用最优的模型对数据新型分析。C&DS 提供了模型评分功能自动化地对数据进行挖掘预测分析。

运行关联度分析模型，对新的销售数据进行分析评分，SalesMarket 将可以依据分析结果对卖场商品重新布局，将高关联度商品摆放在一起，从而推动销售额的提升。

图 25. 自动运行数据挖掘

使用 C&DS Scoring Service 对决策实时预测

传统的数据挖掘场景是：基于企业历史数据设计和训练模型，再使用模型对大批量的当前运营数据进行分析预测，从而为企业决策提供数据依据及支持。一次数据分析的过程往往消耗很长时间，因此很难满足特定业务场景下，要求对单条数据 / 决策进行实时实时评分的要求。

例如 SalesMarket 推出了一种新的促销活动，对于部分家电以及数码产品，资信良好的 VIP 客户可以分期付款。当客户申请分期付款时，需要对客户的资信做实时地分析，从而决定是否接受此客户的申请。

C&DS 提供了 High-Speed Scoring 机制，支持对单条数据进行实时、高速的预测分析。

管理员将训练好的模型文件部署到 C&DS Content Repository：

图 26. 部署 Modeler 模型

对模型文件进行 scoring 的配置：

图 27. 配置 Scoring

管理员完成 Scoring 配置后，终端用户登录 Depolyment Portal，找到模型文件并选中刚刚配置好的 Scoring Configuration，就可以对提出申请的客户进行实时评分了。输入用户 VIP 卡的 ID，就能得到评分结果：

提示：

C&DS 默认提供了简单的基于Web的高速评分界面。

对于企业级用户推荐基于 C&DS High-Speed Scoring Service 开发自己的富客户端，从而获得更强大的UI。

图 28. 单条 / 高速评分（查看大图）

通过 C&DS 提供的 High-Speed Scoring 机制，企业级用户可以非常简单的使用模型进行评分，满足类似 SalesMarket 告诉实时预测的需求。这不仅可以大大降低企业承担的风险，而且提高了企业的快速响应能力。

“云”里看花 : 通过 C&DS COP 组建 Modeler Server Cluster

随着规模的扩充，SalesMarket 销售门店遍布世界各国，每天的物流、销售管理数据数以 G 计，并累计了海量的运行数据。当前 SalesMarket 将 Modeler Server 部署在小型机系统上，但对于需要定时运行的数百个模型分析任务来说，依然不能提供快速的数据分析相应。

Cluster 集群与云计算是应对此种大规模计算的最佳方案。C&DS 提供了 COP（Coordinator of Processes）服务，将多个 Modeler Server 节点组建为集群。C&DS 作为负载均衡节点，根据各个 Modeler Server 节点的负载，动态分配计算任务到 Modeler Server，从而使众多的 Modeler Server 协同工作，从而承载海量的数据计算任务。

有容乃大：异构应用系统集成 -- 集成 BIRT 报表系统到 IBM SPSS 解决方案

随着 SalesMarket 的成长，越来越多的 IT 信息系统被部署与应用，POS 销售系统，ERP 系统，客户管理管理、物流管理、银行授信查询……。

SalesMarket 需要将预测分析系统与其他系统自动化集成，从而打通各个数据孤岛；数据挖掘与预测分析系统从其他数据系统抽取数据，进行数据分析；分析结果反馈给相应的业务系统，从而在更多的管理领域提供决策支持服务。

C&DS 是专业化的企业应用集成与部署总线，提供了多种方式支持各种软件系统的无缝集成。

WebService： C&DS 各个功能模块均提供 WebSerice API，第三方系统可以通过 WebService 服务调用和集成 C&DS、Modeler 以及其他 IBM SPSS 产品。

Adapter插件体系：C&DS 提供 Adapter Framework 支持第三方应用扩展。开发针对 C&DS 的 Adapter，部署到 C&DS 后，即可使用 C&DS 所提供的系统级服务，并与其它集成系统进行数据通信。

例如 SalesMarket 当前在使用 BIRT 报表系统汇总和分析各个业务系统数据，SalesMarket 要求 IT 部门将报表系统集成到 C&DS 中，更直观的显示数据挖掘分析结果。IT 部门开发 BIRT Adapter 实现 C&DS Adapter SPI，从而完成对 BIRT 报表的企业集成与管理：

使用 Content Repository 管理 BIRT 文件，保持历史追溯

使用 C&DS 统一的资源管理特性管理和透明使用 Server、数据源、登录凭证

在 BIRT 中使用 C&DS 企业数据视图 / 应用数据视图统一、透明地管理使用复杂、分布、异构的数据源。

使用 Automation Job 定时自动运行 BIRT 报表

使用 Notification 自动获取 BIRT Job 的执行结果

使用 Deployment Manager 或者 Deployment Portal 查看报表运行结果。

提示：

1，IBM SPSS 官方提供了 Modeler、Statistics、Data Collect、ShowCase 全线产品的 Adapter 实现。

2，C&DS 已内建 BIRT Reporting Adapter。

图 29. 集成 BIRT 报表

小结

IBM SPSS C&DS 是 SPSS 产品线的应用集成总线与部署服务平台，与 C&DS 的集成部署将使用户获得企业级应用支持。

使用 C&DS 与 Modeler 集成部署构建企业级数据挖掘与预测分析解决方案，可极大的提升 Modeler 产品的安全性、可管理性、可扩展性、灵活性、可伸缩性，以及良好的性能均衡。

IBM SPSS 基于 C&DS 与 Modeler 集成解决方案，提供了面向终端用户的预测分析解决方案产品“IBM SPSS Decision Management”，Decision Management 基于 C&DS+Modeler 平台，采用浏览器瘦客户端平台，专注于提升易用性，为终端用户提供专业化、智能化、傻瓜式的预测分析解决方案。