| 编辑推荐: |
本文主要介绍了数据中台必备的4个核心能力、数据中台建设方法论及数据中台架构等，希望对您的学习有所帮助。
本文来自于微信公众号数据工匠俱乐部，由Linda编辑、推荐。 |
|
一、解码数据中台
01 解码数据中台
与许多新概念诞生之初的境遇一样，数据中台目前正处于“定义混乱期”。
有人认为数据中台是云平台的一部分，同时包括业务中台和技术中台；有人认为数据中台是数据的共享、整合和深度分析；还有人认为数据中台是“计算平台+算法模型+智能硬件”，不仅有云端，还需要智能设备帮企业在终端收集线下数据……从服务方到客户方，对数据中台的理解并不相同，如同一千个观众心中就有一千个哈姆雷特。
笔者们有幸见证了数据中台在中国从0到1的全过程，并在其中实践多年，对于数据中台的定义，笔者们认为：数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。
数据来自于业务，并反哺业务，不断循环迭代，实现数据可见、可用、可运营，如图1所示。
通过数据中台把数据变为一种服务能力，既能提升管理、决策水平，又能直接支撑企业业务。数据中台不仅仅是技术，也不仅仅是产品，而是一套完整的让数据用起来的机制。既然是“机制”，就需要从企业战略、组织、人才等方面来全方位地规划和配合，而不能仅仅停留在工具和产品层面。
以中国某大型央企集团的数据中台为例，该集团旗下拥有横跨金融、地产、零售的多条业务线。要做数字化转型，不仅是技术问题，更是组织与业务运转模式改变的问题，需要顶层战略规划和组织架构上的改变。这也是为什么各大互联网公司在宣布中台战略时，会伴随着组织架构调整。
图1：数据中台是一套“让企业的数据用起来”的机制
每家企业的业务与数据状况各不相同，业务对数据服务的诉求不同，数据中台的建设将呈现出不同的特点，没有任何两家企业的数据中台是完全相同的。数据中台的实施不仅需要一整套技术产品，更需要针对不同业务、数据、应用场景的体系化的实施方法和经验，过程中涉及企业战略、组织、技术、人才等全面的保障和配合。
02 数据中台必备的4个核心能力
早在2015年，数字化领域的领先者已经开始从顶层战略设计入手，调整组织架构，协调内外部的利益，更新方法论和认知体系，着手构建数据中台体系。从2018年下半年开始，以数据中台战略为核心的变革潮流席卷互联网行业，然而多数企业对数据中台内涵的认识仍不够全面，导致业务落地和商业创新还是困难重重。
数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力，让企业员工、客户、伙伴能够方便地应用数据。
1.汇聚整合
随着业务的多元化发展，企业内部往往有多个信息部门和数据中心，大量系统、功能和应用重复建设，存在巨大的数据资源、计算资源和人力资源的浪费，同时组织壁垒也导致数据孤岛的出现，使得内外部数据难以全局规划。
数据中台需要对数据进行整合和完善，提供适用、适配、成熟、完善的一站式大数据平台工具，在简便有效的基础上，实现数据采集、交换等任务配置以及监控管理。
数据中台必须具备数据集成与运营方面的能力，能够接入、转换、写入或缓存企业内外部多种来源的数据，协助不同部门和团队的数据使用者更好地定位数据、理解数据。同时数据安全、灵活可用也是绝大多数企业看重的，他们期望数据中台能协助企业提升数据可用性和易用性，且在系统部署上能支持多种模式（见图2）。
图2：企业看重的数据整合和管理能力
2.提纯加工
数据就像石油，需要经过提纯加工才能使用，这个过程就是数据资产化。
企业需要完整的数据资产体系，围绕着能给业务带来价值的数据资产进行建设，推动业务数据向数据资产的转化。
传统的数字化建设往往局限在单个业务流程，忽视了多业务的关联数据，缺乏对数据的深度理解。数据中台必须连通全域数据，通过统一的数据标准和质量体系，建设提纯加工后的标准数据资产体系，以满足企业业务对数据的需求，
如图所示。
图3： 企业看重的数据提炼和分析加工能力
3.服务可视化
为了尽快让数据用起来，数据中台必须提供便捷、快速的数据服务能力，让相关人员能够迅速开发数据应用，支持数据资产场景化能力的快速输出，以响应客户的动态需求。
多数企业还期待数据中台可以提供数据化运营平台，帮助企业快速实现数据资产的可视化分析，提供包括实时流数据分析、预测分析、机器学习等更为高级的服务，为企业数据化运营赋能。
此外，伴随着人工智能技术的飞速发展，AI的能力也被多数企业期待能应用到数据中台上，实现自然语言处理等方面的服务。数据洞察来源于分析，数据中台必须提供丰富的分析功能，数据资产必须服务于业务分析才能解决企业在数据洞察方面的短板，实现与业务的紧密结合（见图4）。
图4：企业看重的数据资产服务化能力
4.价值变现
数据中台通过打通企业数据，提供以前单个部门或者单个业务单元无法提供的数据服务能力，以实现数据的更大价值变现。
企业期待数据中台能提升跨部门的普适性业务价值能力，更好地管理数据应用，将数据洞察变成直接驱动业务行动的核心动能，跨业务场景推进数据实践。同时，企业对于如何评估业务行动的效果也十分关注，因为没有效果评估就难以得到有效反馈，从而难以迭代更新数据应用，难以持续为客户带来价值，如图5所示。
如前所述，数据中台是一套持续地让企业的数据用起来的机制，要想把数据用起来，四个核心能力都需要不断迭代和提升。从战略上来看，汇聚整合、提纯加工、服务可视化和价值变现的能力是数据中台最核心的竞争力，是企业真正将数据转化为生产力、实现数字化转型和商业创新、永葆竞争力的保障，如图6所示。
▲图5：企业看重的数据价值变现能力
图6：数据中台4大核心能力不可分割
03 数据中台VS业务中台
1.数据中台与业务中台的区别
业务中台更多偏向于业务流程管控，将业务流程中共性的服务抽象出来，形成通用的服务能力。
比如电商平台，有C2C、B2C、C2B、B2B四种模式，其中订单、交易、商品管理、购物车等模块都是有共性的。将这些组件沉淀出来，形成电商行业的业务中台，再基于这些业务中台组件的服务能力，可以快速搭建前台应用，譬如C2C模式的淘宝、B2C模式的天猫、B2B模式的1688、C2B模式的聚划算，用户通过这些前台业务触点使用业务服务。业务中台不直接面向终端用户，但可以极大提升构建面向终端用户的前台的速度和效率。
业务中台是抽象业务流程的共性形成通用业务服务能力，而数据中台则是抽象数据能力的共性形成通用数据服务能力。
比如，原始业务数据通过资产化服务化，形成客户微观画像服务，这个服务可用于电商平台的商品推荐，也可能用于地产购房意愿，还可能用于金融领域的信用评级等。同一个服务，在应用层面展现的内容可能不一致，但是底层的数据体系是一致的。数据中台也将极大提升数据开发的效率，降低开发成本，同时可以让整个数据场景更为智能化。
2.数据中台与业务中台的联系
如果同时拥有业务中台和数据中台，则数据中台与业务中台是相辅相成的。业务中台中沉淀的业务数据进入到数据中台进行体系化的加工，再以服务化的方式支撑业务中台上的应用，而这些应用产生的新数据又流转到数据中台，形成循环不息的数据闭环，如图7所示。
图7：业务中台与数据中台的数据应用闭环
业务中台与数据中台互相促进，为企业业务的发展、管理者更好的决策提供支持。其中，业务中台的存在是为了围绕公司业务运营进行服务，将获取的多维度数据传递给数据中台，由数据中台挖掘新的价值反馈给业务中台，以优化业务运营。
有人可能会有疑惑：数据中台和业务中台的建设是否有先后顺序？
笔者们以为，这两者的建设没有先后之分，主要依据企业的实际情况进行规划。
从数据层面看，业务中台只是数据中台的数据源之一，除此之外，企业还有很多其他的数据来源，如App、小程序、IoT等多源数据，可以将这些数据的价值直接赋能于现有业务或某个创新业务。
从服务层面看，数据中台的数据服务也不一定经过业务中台作用于业务，它可能直接被上层应用系统进行封装，如电商领域的“千人千面”系统。
而从业务中台的角度来看，如果没有数据中台，可以做一些简单的数据处理，如分析和统计等，而通过数据中台赋能，则可以使业务系统拥有“全维度”、“智能化”的能力，譬如推荐、圈人等，系统将从信息化升级成为一个智能化的业务系统。”
不仅仅是业务中台，目前各种中台层出不穷，但笔者们认为中台不是平台，平台可以有很多，可以有营销平台、风控平台、管理平台等，但是中台，一个企业只需要有一个。
现在还有业务中台、数据中台之分，但我们预测未来数据与业务会更紧密地结合，完全融为一体，会统一成“企业中台”。
二、数据中台建设方法论
图8：数据是企业的战略资产
对于图9所示的数据中台建设方法论体系，需要从组织、保障、准则、内容、步骤5个层面全面考虑，以确保数据中台建设和实施能如期完成。
1种战略行动：把用数据中台驱动业务发展定位为企业级战略，全局谋划。
2项保障条件：通过宣导统一组织间的数据认知，通过流程加速组织变革。
3条目标准则：将数据的可见、可用、可运营3个核心准则始终贯穿于中台建设的全过程，保障建设在正确轨道上。
4套建设内容：通过技术体系、数据体系、服务体系、运营体系建设保证中台建设的全面性和可持续性。
5个关键步骤：通过理现状、立架构、建资产、用数据、做运营5个关键行动控制中台建设关键节点的质量。
图9：数据中台建设方法论体系
01 1种战略行动
建设数据中台是为了支撑企业数字化、智能化升级，通过全局的维度支撑业务，让企业在市场上更具竞争优势，因此需要从公司战略层面来规划。在中台建设过程中，会涉及所有相关业态、各块资源的协调和推进，这都需要站在更高的层面来考虑。当然，具体在实施过程中，为了能快速迭代推进，也会采取从点到面的突破方法，从某个业务或者某个部门开始，初步构建看到成效再逐步推广，但不影响其作为核心战略的定位。
数据中台要求整个企业共用一个数据技术平台、共建数据体系、共享数据服务能力。
现实中，企业业务发展不均衡，各种部门墙导致共建、共享非常困难。数据中台不仅是对技术架构的改变，还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持，所以中台是一个企业的战略行动，绝非一个项目组或者一个小团队就能做的。数据中台牵涉企业的方方面面，你要了解整个企业的业务情况，进行业务梳理，还要有技术的支撑、组织的支撑，否则很难推动落实。
启动数据中台一定要有战略规划，首先它是“一把手工程”，
只有企业的一把手才有这种推力来推动数据中台的建设。数据中台的目标是实现企业经营的数据化、精细化、智能化，本质是建设一套可持续让企业数据用起来的机制。
需要有相应的组织、制度、流程、资源的保障。
02 2种保障条件
数据中台是企业级战略，支撑企业数字化转型，涉及企业的方方面面，数据中台战略的执行必然伴随着企业组织保障以及整个企业数据意识的提升。
首先，中台战略的实施需要有组织保障。
与组织对应的是资源与责任，数据中台由谁来建、谁来维护、谁来经营、业务需求怎么承接、效果怎么衡量等问题，已经超出IT的范畴，需要企业更高层面对应的组织来保障。图10所示为中台组织架构。企业实施数据中台战略，必须首先建立起数据中台团队，让他们负责中台的建设、维护、运营以及业务的承接和中台服务的推广等。另外，有了中台，企业的运转模式发生了变化，业务、后台、管理等团队也需要有对应的组织人员与中台团队对接。
图10：中台组织架构
其次，中台战略的实施需要提升全企业的数据意识。
数据文化是数据中台战略不可或缺的部分，数据中台的推进依赖于数据文化的建立，反过来，企业数据文化的沉淀又是数据中台建设的产出。大家谈论大数据比较多，但经常对什么是大数据感到困惑，在笔者们看来，大数据和当年提的“互联网+”一样，是一种考虑问题的思维方式，用互联网思维、数据思维来发现问题，解决问题。因此，用一句话来概括数据文化：用数据说话。
可以从以下方面来提升数据意识：
（1）数据采集意识
建议尽可能采集一切业务触点数据，随着技术的发展，采集的方式也越来越多，比如业务数据、日志数据、埋点数据、网络数据、传感器数据等。了解可能的数据采集方式，尽可能把有价值的数据通过技术手段采集下来。
（2）数据标准化意识
之所以需要进行数据治理，是因为数据不标准。如果希望数据发挥价值，就需要保持统一数据标准的意识，只有不同部门、不同业务对于数据的理解都一致了，才能减少因数据口径不一导致的资源浪费。
（3）数据使用意识
未来数据应用会涉及方方面面，每一个业务环节都有可能用到数据的能力，所以所有企业员工都要掌握数据可能的使用方式，知道在实际业务操作过程中应该怎么使用数据。另外，数据能够找出人类经验和人脑无法找出的关联关系，比如啤酒和尿布的故事，就要求打破原有经验，用更高的数据意识来发挥数据对于业务的价值。
（4）数据安全意识
还必须具备数据安全意识，有些数据即使对业务有价值，但由于侵犯隐私或者触犯法律等因素，也不能用，或者需要换一种合法的方式使用。企业员工需要有足够的数据安全定级、脱敏的意识。
03 5个关键步骤
数据中台在具体落地实施时，要结合技术、产品、数据、服务、运营等5个方面，逐步开展相关的工作，在构建闭环时会多考虑基础设施部分的能力。一旦闭环建设完成，就可以在各个环节不断丰富能力，逐步成为数据应用的完整体系。根据笔者的实践经验，数据中台的建设过程主要通过5个关键步骤来完成，如图11所示。
图11：中台建设的5个关键步骤
1.理现状
梳理企业的系统建设、已经拥有的数据以及业务特点等现状，了解企业对数据中台的认知，以及相应的数据文化建设情况。点对点地与业务部门、IT部门进行沟通，获取企业的产品和服务信息，形成业务现状调研报告，同时了解目前企业以怎样的组织形态来保证客户的服务能力。详细调研目前企业的IT建设情况和业务数据沉淀情况，比如采用的什么数据库、数据量、数据字段和更新周期等，以便后续更好地设计技术架构。
2.立架构
根据现状形成整体的规划蓝图，形成技术产品、数据体系、服务方式以及运营重点等相关的方案，梳理并确立各块架构。企业信息架构经常谈到的4A，即业务架构、技术架构、应用架构和数据架构都需要在这个阶段进行确认。这4个架构具体介绍如下：
业务架构：保障数据中台能够适用于企业的业务运管模型和流程体系。
技术架构：主要是指技术体系中的数据基座，主要根据业务架构近远期规划，对数据的存储和计算进行统一的选型。
应用架构：特指数据中台应用架构，后面几个关键步骤的内容所依赖的工具主要由数据中台作为平台应用来承接。
组织架构：主要是保证中台项目的顺利落地需要企业考虑的整体组织保障，其中的角色有业务人员、IT人员、供应商和相关负责人。
3.建资产
结合数据架构的整体设计，通过数据资产体系建设方法，帮助企业构建既符合场景需求又满足数据架构要求的数据资产体系并实施落地。这个步骤涉及数据汇聚、数据仓库建设、标签体系建设以及应用数据建设，其中最关键的是标签体系建设。所谓标签体系是面向具体对象构建的全维度数据标签，通过标签体系可以方便地支撑应用，大数据的核心魅力和服务能力主要就体现在标签体系的服务能力上。
4.用数据
从应用场景出发，将已经构建的数据资产通过服务化方式，应用到具体的业务中，发挥数据价值。将数据资产快速形成服务能力并与业务进行对接，在业务中产生数据价值，实现数据的服务化、业务化。在服务过程中，数据安全是不得不考。
· 组织架构：主要是保证中台项目的顺利落地需要企业考虑的整体组织保障，其中的角色有业务人员、IT人员、供应商和相关负责人。
5.做运营
数据应用于业务后，其产生的价值通过运营的能力不断优化迭代，并让更多的人感知到数据的价值点。数据中台建设是一个持续建设和运营的过程，所谓持续建设和运营是指在架构基本稳定的情况下，不断循环第3～5步，多方角色会围绕核心KPI不断挖掘数据和业务场景的结合点，不断根据质量和价值两个点来运营优化。企业通过多个组织之间的配合推进，会逐步形成企业特有的数据文化和认知，这是企业在数字化转型中非常重要但很难跨越的点。
三、数据中台架构
通过前面数据中台建设方法论体系的介绍，了解了数据中台的定位、保障、目标、内容和步骤。这一节通过对数据中台架构的介绍，让大家了解数据中台总体架构、包含的模块、模块之间的关系以及运转机制。
数据中台的目标是让数据持续用起来，通过数据中台提供的工具、方法和运行机制，把数据变为一种服务能力，让数据更方便地被业务所使用。图12所示为数据中台总体架构图，数据中台是在底层存储计算平台与上层的数据应用之间的一整套体系。数据中台屏蔽掉底层存储平台的计算技术复杂性，降低对技术人才的需求，让数据的使用成本更低。通过数据中台的数据汇聚、数据开发模块建立企业数据资产。通过资产管理与治理、数据服务把数据资产变为数据服务能力，服务于企业业务。数据安全体系、数据运营体系保障数据中台可以长期健康、持续运转。
图12：数据中台总体架构图
1. 数据汇聚
数据汇聚是数据中台数据接入的入口。数据中台本身几乎不产生数据，所有数据来自于业务系统、日志、文件、网络等，这些数据分散在不同的网络环境和存储平台中，难以利用，很难产生业务价值。数据汇聚是数据中台必须提供的核心工具，把各种异构网络、异构数据源的数据能够方便地采集到数据中台进行集中存储，为后续的加工建模做准备。数据汇聚方式一般有数据库同步、埋点、网络爬虫、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集。
2. 数据开发
通过数据汇聚模块汇聚到中台的数据，没有经过什么处理，基本是按照数据的原始状态堆砌在一起的，这样业务还是很难使用。数据开发是一整套数据加工以及加工过程管控的工具，有经验的数据开发、算法建模人员利用数据加工模块提供的功能，可以快速把数据加工成对业务有价值的形式，提供给业务使用。数据开发模块主要是面向开发、分析人员，提供离线、实时、算法开发工具以及任务的管理、代码发布、运维、监控、告警等一些列集成工具，方便使用，提升效率。
3. 数据资产体系
有了数据汇聚、数据开发模块，中台已经具备传统数仓平台的基本能力，可以做数据的汇聚以及各种数据开发，就可以建立企业的数据资产体系。之前说数据资产体系是中台的血肉，开发、管理、使用的都是数据。大数据时代，数据量大，增长快，业务对数据的依赖也会越来越高，必须考虑数据的一致性和可复用性，垂直烟囱式的数据和数据服务的建设方式注定不能长久存在。不同的企业因业务不同导致数据不同，数据建设的内容也是不同的，但是建设方法可以相似，数据要统一建设，笔者建议数据按照贴源数据、统一数仓、标签数据、应用数据的标准统一建设。
4. 数据资产管理
通过数据资产体系建立起来的数据资产还是一套偏技术的数据体系，业务人员比较难理解。资产管理是以企业全员更好理解的方式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），数据资产管理包括对数据资产目录、元数据、数据质量、数据血缘、数据生命周期等进行管理和展示，以一种更直观的方式展现企业的数据资产，提升企业的数据意识。
5. 数据服务体系
前面利用数据汇聚、数据开发建设企业数据资产，利用数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。企业的数据服务是千变万化的，中台产品可以带有一些标准服务，但是很难满足企业的服务诉求，大部分服务还是需要通过中台的能力快速定制。数据中台的服务模块并没有自带很多服务，而是提供快速的服务生成能力以及服务的管控、鉴权、计量等功能。
6. 运营体系和安全体系
通过前面的数据汇聚、数据开发、数据资产、资产管理、数据服务，已经完成了整个数据中台的搭建和建设，也已经在业务中发挥一定的价值。运营体系和安全体系是数据中台得以健康、持续运转的基础，如果没有它们，数据中台很可能像个一般项目一样，一期搭建起平台、建设部分数据、尝试一两个应用场景之后而止步，无法正常地持续运营，不能持续发挥数据应用价值。这也就完全达不到建设数据中台的目标。
四、附录：6大行业解决方案架构图
▲地产行业解决方案
▲证券行业解决方案
▲零售行业解决方案
▲制造行业解决方案
▲传媒行业解决方案
▲检务行业解决方案
|
