您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 
 订阅
一文解析数据治理体系方法
 
作者: 张见芬
   次浏览      
 2024-6-1
 
编辑推荐:
本文主要介绍数据治理体系方法以及如何结合数据管理能力成熟度模型评估企业数据管理能力。希望对你的学习有帮助。

本文来自于三界逆熵实验室,由火龙果软件Elaine编辑、推荐。

数据治理是指组织对数据进行全面管理、维护和优化的过程。数据治理目的在于确保数据的正确、一致、可靠,并推进数据共享、数据价值挖掘和数字化转型。通过数据治理,企业可以更好地利用数据,提升业务效率和竞争力。本文探讨数据治理体系方法以及如何结合数据管理能力成熟度模型评估企业数据管理能力。

01 为什么要做数据治理?

数据作为推动经济社会发展及数字化转型的新动能已成为社会共识,数据治理作为基础性工作,受到越来越多企事业单位的重视。

1、随着企业信息化和数字化的发展,企业数据“多”管理问题引发的结果:

2、随着信息化发展,企业在不同业务领域建立了众多的异构系统,由于厂商众多,导致平台和技术各异。

3、系统维护都是各自为政, 基础数据维护工作在各自属地业务系统进行维护,来源不清晰、缺乏协调。

4、各业务系统对数据的维护模型不同,导致各自的数据标准规范不统一,如:客商、物料等的分类标准。

5、同一数据在不同的系统中编码不一样,尤其物料,甚至同一业务板块,不同单位的物料编码都不一致。

6、由于平台和开发语言不同,实现数据互通,导致系统之间的接口繁多以及多种接口标准,系统集成和接口管理成本上升。

数据确权、数据质量、数据安全、数据流通已成为影响数据要素价值潜力发挥的重要因素,如何做好大数据治理工作成为数字化转型的新挑战。

数据治理是一个需要长期投入的工作,涉及业务和技术等方方面面,影响范围及复杂度高,治理效率尤为重要。

02 企业数据治理的现状及痛点

企业已经认识到数据价值的重要性,纷纷通过数据治理活动来挖掘数据的价值,提升数据管理水平。但还是存在很多问题,主要有6个方面:

1、对数据治理概念的理解还是比较模糊。往往只关注了数据治理中的某些环节,没有形成数据治理闭环;

2、数据治理工作没有总裁办、风险管理等部门参与。导致数据治理面临沟通协调困难,治理效率低下和效果不明显。

3、没有建立统一的数据质量体系、方法和规范

4、在数据治理落地实施、绩效评价等方面还没有专门的标准来指导

5、缺乏可行有效的监督、考核、评价机制,数据治理工作无法常态化

6、缺少配套的数据标准工具,支持数据标准落地

03 数据治理方法论体系框架

数据治理体系框架由四大管理层次和十一大管理领域组成,四大管理层次包括数据治理远景、数据治理驱动力、数据治理核心管控和数据治理基础支撑。

(1) 数据治理远景

1、数据治理远景:主要就是数据战略与规划,数据战略是跟企业战略、业务战略密切相关的。战略的维度包括数据价值、数据文化、与业务价值一致性、总体拥有成本、数据在业务战略中的能动作用等。

(2) 数据治理驱动力

2、数据驱动业务运营

通过数据资产化、资产价值化、价值场景化、场景智能化来实现数据驱动业务运营。

3、数据组织和人才

明确企业内部各级组织应负有的数据治理责任,为数据治理体系的正常运转,提供了人员和组织的保证,将数据治理上升到企业组织层面。

4、数据管理制度与流程

包括制度框架、制度层级、制度管理流程、制度编制情况及范围等。管理制度又可以细分管理规范、管理办法和工作指引三个层面。

(3) 数据治理核心管控

主要有数据质量管理、数据生存周期管理、主数据管理、数据安全管理等。

5、数据质量管理

主要提供对不符合规则的数据进行探查、发现、修复、报告的闭环管理,实现组织数据质量管理体系线上全流程闭环,持续不断提升数据质量,满足业务需求,辅助业务决策。

6、数据生存周期管理

在数据从产生、应用、归档到销毁的整个生命周期全过程进行有效的自动化管理,针对不同生命周期阶段的数据建立多层次的数据自动存储体系,降低系统运营成本,又满足最终用户的数据访问和应用的需求。

7、主数据管理

主数据用来定义、管理和共享组织的主数据信息,保证主数据在各个信息系统间的准确性、一致性、完整性。

8、数据安全管理

数据安全管理是数据治理体系的核心部分,包括数据安全规范管理、数据安全运行管理、数据安全技术能力、数据安全审计等方面。

(4) 数据治理基础支撑

主要有数据架构与标准、元数据与数据资产、技术架构与数据交换。

9、数据架构与标准

数据架构与数据标准的业务、技术规范,以及理解数据、处理数据的相关细节信息,是建立数据治理体系所需的基础性保障,也是支持“核心管控层”相关领域落地的基础

10、元数据与数据资产:元数据是“关于数据的数据”。元数据标注、描述或者刻画其他数据,以便检索、解读或使用信息更容易。对数据上下文背景、历史和起源进行完整地记录并管理。通过分层架构表达对数据的分类和定义,厘清数据资产。

11、技术架构与数据交换

数据共享交换面向数据交换全生命周期管理,提供多类型的资源共享通道,打通各交换节点之间的数据壁垒,保证各交换节点业务系统之间互联互通,实现跨部门、跨层级、跨地域的信息资源交换共享。

04 数据治理咨询方案、步骤

数据治理体系规划总体框架,从大的方面可以分为三个阶段:

第一阶段理规划,也就是咨询阶段;第二阶段搭平台,也就是交付落地阶段;第三阶段建闭环,也就是数据驱动运营阶段。

对数据治理咨询来讲,我们的目标和策略是基于消费者驱动,重塑企业价值链,打造场景与业态(产品线条)、线上与线下、企业与伙伴、企业与员工、员工与用户、用户与用户的关系,重新定义和规划触点互动策略、业务策略和数据策略,在此基础上提供完整的数据治理解决方案,包括组织体系建设、数据管理制度、数据资产盘点等。第一阶段咨询的重点在于对数据资产的定义、规划、梳理。

第二阶段是对第一阶段成果的落地实施。首先是对现有湖仓一体化平台进行延展,全域数据入湖仓数据一体化平台,然后搭建数据治理平台支撑数据治理管理工作,切实建立起企业数据管理能力。

第三阶段是在建立体系和平台后的基础上做运营闭环,通过数据驱动赋能业务创新、数据价值变现,为企业带来持续价值增长。

数据治理体系工作预计包含以下三个阶段:数据治理体系现状分析与评估、数据治理体系设计与规划、数据治理体系建设,每个阶段又分不同的任务。

步骤一:现状分析与评估:通过访谈、调研问卷、收集客户资料等方式获取在数据治理领域的资料,通过对收集资料的整理、归纳,分析数据治理的现状、问题等,结合成熟度评估模型评估对现状进行评估,根据评估的结果和同业领先银行对标找出差距,最后从专业角度提出改进建议。

步骤二:数据治理体系设计与规划:根据现状评估的结果,进行数据治理体系设计,主要包括数据治理体系功能框架、数据治理组织和制度框架、数据治理能力提升路线图、信息中心职能规划及提升路线图。

步骤三:数据治理体系建设:根据数据治理体系设计与规划的成果,制定数据管理管理规范、管理办法、工作指引。根据数据治理体系设计与规划的成果,制定数据管理政策,制定数据管理工作的考核方案、考核指标、考核制度。

建立数据标准全生命周期管理的流程和制度,编制基础类数据、公共代码基础数据标准、核心指标数据标准并给出差异分析与落地建立,设计数据标准管理系统的业务需求。

建立数据质量管理管理模式、管理流程和制度,同时建立数据质量认责机制。定义本项目数据质量提升数据范围并制定度量规则,依据度量规则在相关系统进行数据质量探查和分析,针对分析结果进行制定数据质量整改建议。

步骤一:现状分析与评估

1、确定评估方案,本阶段的主要任务是理解企业前期资料,设计评估维度与关键指标。主要工作内容有收集、理解前期获得的企业架构、战略规划、业务介绍、湖仓一体化平台建设等资料,基于理解的内容,设计与本次评估相关的评估维度与关键指标。产出物为现状评估模板与调研访谈问题。

2、收集与理解,本阶段的主要任务是收集行业参考实践的内容及企业内部参考资料,包括业务、技术和数据资料三方面。

另外,以问卷调查和现场访谈的形式,对企业的各级人员进行调研,包括战略领导层、部门管理层、部门骨干人员等。产出物为问卷调查结果和访谈记录。

3、执行评估,本阶段的主要任务是将企业现状与未来期望和行业参考实践进行比较,找出差距,识别改进机会点。基于洞察力的业务判断,提出建议和行动计划。本阶段的产出物为企业现状评估结果与改进方向。

参考文章《用“数据金字塔”解析“数据管理能力成熟度模型(DCMM)”》中数据管理能力成熟度等级模型,对企业数据管理能力成熟度进行评估。

例如企业企业数据管理能力成熟度评估结果如下:

步骤二:数据治理体系设计与规划

数据治理远景 - 数据治理战略与规划

战略决定了企业架构,企业架构是从全局的角度审视与信息化相关的业务、数据、技术和应用的相互作用,企业架构由业务架构、数据架构、应用架构和技术架构共同组成。

数据战略包括数据价值、数据文化、与业务价值一致性、总体拥有成本、数据在业务战略中的能动作用等。组织、制度、角色和流程等配套机制来保障和达成。管控领域指实施数据治理所采取的技术手段,包括数据标准、元数据、数据质量、数据生命周期、数据安全等。要实现这些数据治理相关领域,需要一套技术体系来支撑。

数据治理驱动力 - 数据驱动业务运营

数据驱动业务运营指的是在数据治理的基础上,通过数据分析和挖掘来驱动业务运营的决策和优化。通过对数据的规范化、清洗和整合,构建质量高、结构化清晰、可信度高的数据集,提供准确的数据支持来分析和决策。数据治理的数据驱动业务运营可以帮助企业发现和利用业务数据中的隐藏价值,优化业务流程和服务,提高业务效率,提升竞争力。

数据治理驱动力 - 数据治理组织与职责

数据治理组织架构的设置目的在于:建立明确的数据治理组织架构与人员角色定义,明确某类数据的责任人,定义不同数据责任人的职责,对某一特定数据范围内的信息的正确性、一致性和及时性负责。

从数据管理的工作特点来分析,既需要各个业务部门深入参与数据治理工作,承担数据标准制定、数据质量整改、数据应用等职责,同时也需要有一个集中的组织,总体协调、指导、监督数据治理工作的开展。

因此,建议构建决策层、管理层、执行层的三层数据管理组织架构,具体如下:

企业数据组织和人才架构包括:数据治理决策委员会、数据治理办公室、数据运营。数据治理办公室在决策委员会的指导下,支持、确认数据治理相关的战略规划与政策;与业务部门、技术部门沟通确认数据治理的工作目标。

数据治理决策委员会是公司数据管控的决策和领导组织,由企业高层领导CEO/CIO/CFO及业务负责人挂帅。数据治理委员会由主管数字化和大数据技术的领导,数据管控的相关业务部门或业务条线派驻的领导组成。

数据治理办公室,指定数据治理经理人员,下设各数据治理领域相关的数据模型主管及建模师、数据架构主管及数据架构管理员、数据质量主管及数据质量管理员、数据安全主管及数据安全管理员、数据标准主管及数据标准管理员、元数据主管及元数据管理员。负责颁布数据治理的方案、流程、报告执行结果,管理跨业务组织的数据内容。

数据运营组织,由各业务部门和数据管理部门组成,其中,每个业务部门需指定业务线负责人,其他业务部门人员可从数据治理的角度分为数据责任人、数据使用人员、业务定义人员及数据录入人员。

数据治理组织体系设计的目的不仅仅停留在组织架构的层面,更重要的是为了指导各领域实际管理流程环节的落地开展。

在项目中,将在对每个领域的职责划分的基础之上,借鉴“RACI”方法,把具体职责分配到相应的角色上,从而帮助形成各个领域的管理流程环节。“RACI”是一个相对直观的模型,用以明确组织变革过程中的各个角色及其相关责任,可以确保各项职责的角色分配科学、明晰、精确。

  • RACI图表计划可以帮助我们有组织地、按统一的格式来明确一个工作团队中个人的角色及职责;
  • 根据RACI图表中的分工,各小组或个人的角色及职责得以明确沟通;
  • 理解不一致得以避免,团队协作得以加强;
  • 避免了无畏的工作;
  • “被咨询人”及“被通知人”起到了跨职能部门的沟通作用。
  • 数据治理驱动力 - 数据治理制度与流程

    管理政策与制度的目的在于:通过政策和规范的方式发布数据治理各个相关部门的责任,明确数据治理各领域的政策、规范和实施办法,确保数据治理的管理原则和执行是一致地贯穿全公司,改变或规范各个部门数据治理人员的行为。

    根据数据管理的层次和授权决策次序,数据管理制度框架分为政策、制度、细则三个梯次,该框架标准化地规定数据管理的具体领域、各个数据管理领域内的目标、遵循的行动原则、完成的明确任务、实行的工作方式、采取的一般步骤和具体措施。

    数据治理核心管控 - 数据质量

    数据质量管理主要提供对不符合规则的数据进行探查、发现、修复、报告的闭环管理,实现企业数据质量管理体系线上全流程闭环,持续不断提升数据质量,满足业务需求,辅助业务决策。

    数据质量管理分为四个步骤,如下图所示:

    1、定义:确定数据质量需求,为项目确定与业务需求相一致的成功衡量指标,即确定数据质量分析维度、规则、评估指标,为数据质量分析提供标准和依据。如质量稽核规则包含维度大小类、业务提出部门、源系统、数据库表、字段、取值范围及脚本逻辑等。

    2、稽核:根据定义的分析维度、规则等,对选定的数据进行检查。在数据质量检查中,通常需要用统一的数据质量检查规则模板,从而保证数据质量检查过程中标准的一致性。通常会编写数据质量稽核脚本,即根据数据质量稽核规则“翻译”为数据治理平台上数据质量稽核工具使用的语句。如使用 SQL 对关系数据库中的数据进行测量,执行测量脚本,获得每个测量规则的质量指标值,以及问题数据样本文件。

    3、分析:在做完数据质量稽核工作后,然后就是对根据检查的结果进行评估分析,发现形成数据质量问题的原因,作为定义数据质量改进点的依据。稽核阶段获得的异常数据是主要的分析对象,从中挑选具有代表性的异常数据记录,向业务部门和 IT 技术人员通过访谈或调查方式分析造成数据的原因。并将问题原因归类,作为识别和定义数据质量改进点的信息依据。

    依据经验,建议从技术问题域、流程问题域、信息问题域、管理问题域四大方面进行分析造成数据质量的原因,每个类别下又可细分原因类型,每个细分类型下在项目执行过程中将通过访谈等方式作第三级的进一步细分,生成并提交数据质量评估报告。

    4、弥补:根据数据质量原因分析结果,规划数据质量弥补方案,提升数据质量。基于前述阶段稽核发现的数据质量问题,以及数据质量问题产生原因的分析,在数据弥补方案阶段将制定有针对性的数据质量改进方案与任务,并制定数据质量改进实施方案。

    也有些企业,在实施数据中台和和数据应用时,此前没有做数据治理相关工作。这样会导致有些数据在目前的业务系统中没有,同时短期内发现这些数据找不到业务系统承载,然后直接在数据中台开发应用来满足缺失数据录入或导入,这些其实不太合规。数据中台本身不承载业务,所以实施数据中台前一定要数据治理咨询或数据资产盘点和梳理工作。

    数据治理核心管控 - 数据生存周期

    数据生存周期管理,可以协助数据管理组织和人员,在数据从产生、应用、归档到销毁的整个生命周期全过程进行有效的自动化管理。

    针对不同生命周期阶段的数据建立多层次的数据自动存储体系,既有效管控系统整体在线数据规模,降低系统运营成本,又满足最终用户的数据访问和应用的需求。

    数据治理核心管控 - 数据安全

    数据安全合规管理一方面根据现有法律法规、国际标准、行业标准以及企业内信息安全策略,制定安全、可靠、可执行的数据安全相关的标准、规范和操作流程;另一方面要企业的数据安全风险分析范围,通过安全风险分析,制定切实可行的风险防护措施,对现有数据安全控制措施的有效性进行评估,提升数据安全等级,确保企业数据得到有效提升。

    数据治理团队和数据安全技术团队应分工负责,数据治理团队在梳理数据资源、明确数据权责的基础上,制定信息安全策略;数据安全技术团队则应重点做好数据安全工具的支撑工作。双方在充分理解相互的工作基础上,充分合作,制定总体数据安全策略,做好数据安全管理工作。

    数据安全等级的设置,要基于数据治理的细化数据梳理成果。重点在于充分理解信息安全政策和业务需求,将宏观分类分级进一步细化为:系统级-数据实体级-数据元素级-数据记录级,基于此进一步制定各类数据的访问策略,更新数据安全管理办法。

    借鉴数据安全模型和数据权责管理方法,完成数据的产生者、数据的管理者、数据的使用者的定义。

    数据治理基础支撑 - 数据架构与标准

    根据数据标准体系规划的编制原则、准入原则以及所有者定义原则,制定符合实际、立足未来零售业架构发展的数据体系框架。

    数据标准设计的原则

  • 保证标准命名、编码、业务解释等内容的唯一性
  • 维持数据标准的权威性,加强它的稳定性。
  • 数据标准的调研、设计和执行要具备前瞻性,保证它的可持续性发展
  • 业务定义、业务名称,业务口径等要具有准确性。
  • 尊重实际情况和将来的发展,使标准具有可执行性。
  • 充分考虑业务风险和技术实施风险,保证标准的顺利执行。

    数据标准内容

  • 数据标准的定义
  • 数据标准的分类
  • 数据标准的编码规范
  • 数据标准的命名规范
  • 数据标准的属性规范
  • 数据标准的应用建议

    数据标准管理组织分为决策层、管理层和执行层,每一层中均有不同角色的人参与,相应的每种角色的职责也有所不同。

    建议数据标准管理实行“统一领导、集中管理、分工协调”的管理模式。建立由行长任组长的数据管理委员会承担数据标准管理的决策和领导责任。

    建立数据标准管理专职机构,负责全公司数据标准的统一管理,承担涉及全公司性数据标准的制定、维护和应用监督等工作;建立数据标准管理团队,承担一般专业部门数据标准管理与应用推动工作。

    数据治理实施路径规划

    数据治理实施路线图有一套固有的方法,结合数据治理规划的总体功能框架,依据各领域的数据工作任务,参考各领域的相关性、建设状态、借助项目规划工具,制定数据体系实施路线图,对实施路线优先级进行排序,确定总体实施计划。

    最终的实施路线规划图分为日常工作与专项项目两种类型,数据治理与数据管理的日常工作任务表格所示。

    步骤三:数据治理体系建设

    针对数据治理的每个管控领域提出相应的管理制度,并在此基础上形成企业级数据政策、制度、细则。如:集团数据标准管理规范、集团数据标准办法、集团数据标准管理工作指引等。

    数据组织结构与人才的基础之上,制定数据治理各领域的管理流程,规范化数据治理工作执行过程,指导数据治理参与人员的日常工作,流程的制定需要全面贯穿数据治理的参与角色,模块化数据治理工作单元,便于数据治理各领域工作的执行和效果评估。

    管控流程的主要目的在于定义企业数据治理各个领域的工作方法和步骤, 明确各个相关部门在数据治理各个领域中的分工和协作关系。

    针对数据治理的每个管控领域提出相应的管理流程,并在此基础上形成企业级的数据管控流程。包括:数据标准管理流程、元数据管理流程、数据质量管理流程、数据生命周期管理流程和数据安全管理流程。

    05 结语

    数据治理是确保数据在整个组织中得到正确、一致、质量高、安全可靠、可信任的使用。通过数据治理,组织可以更好地利用数据,降低数据管理成本,提高数据决策的质量和效果,增强数据资产的价值和竞争力。数据治理还可以促进数据共享和协作,推进业务创新和数字化转型,满足数据合规性和监管要求。

    在建立数据治理体系和完成数据治理基础工作后,企业需要继续落实一些工作来进一步优化数据管理和利用效果。比如需要搭建配套的大数据工具和和平台,然后在此基础上做运营闭环,进一步挖掘数据的价值,包括数据分析、数据建模、数据挖掘等,用数据驱动业务决策和创新,实现降本增效、数据价值变现,为企业带来持续价值增长降本增效。

  •    
    次浏览       
    相关文章

    基于EA的数据库建模
    数据流建模(EA指南)
    “数据湖”:概念、特征、架构与案例
    在线商城数据库系统设计 思路+效果
     
    相关文档

    Greenplum数据库基础培训
    MySQL5.1性能优化方案
    某电商数据中台架构实践
    MySQL高扩展架构设计
    相关课程

    数据治理、数据架构及数据标准
    MongoDB实战课程
    并发、大容量、高性能数据库设计与优化
    PostgreSQL数据库实战培训

    最新活动计划
    C++高级编程 12-25 [线上]
    白盒测试技术与工具实践 12-24[线上]
    LLM大模型应用与项目构建 12-26[特惠]
    需求分析最佳实践与沙盘演练 1-6[线上]
    SysML建模专家 1-16[北京]
    UAF架构体系与实践 1-22[北京]
     
     
    最新文章
    大数据平台下的数据治理
    如何设计实时数据平台(技术篇)
    大数据资产管理总体框架概述
    Kafka架构和原理
    ELK多种架构及优劣
    最新课程
    大数据平台搭建与高性能计算
    大数据平台架构与应用实战
    大数据系统运维
    大数据分析与管理
    Python及数据分析
    更多...   
    成功案例
    某通信设备企业 Python数据分析与挖掘
    某银行 人工智能+Python+大数据
    北京 Python及数据分析
    神龙汽车 大数据技术平台-Hadoop
    中国电信 大数据时代与现代企业的数据化运营实践
    更多...