您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 订阅
  捐助
数据治理框架下的制度建设与质量管控
 
 
 
   次浏览      
2021-9-28
 
编辑推荐:
本文主要介绍了数据质量专项治理背景、数据质量与管理制度建设、管理制度模板化解决方案及数据质量管控解决方案。希望能够对大家有所启发和帮助。
本文来自于知乎,由火龙果软件Linda编辑、推荐。

一、数据质量专项治理背景

银行业是追逐利润的行业,数据治理主要受业务价值驱动,实现业务价值也是做数据治理的目标所在。关于数据治理工作,经过多年的探索和实践,银行业亦有很多行之有效的方法,例如利用专业机构的专家资源,采用数据管控先进理念与成熟方法,全面分析评估银行数据治理现状,制定分阶段实施解决方案;或借鉴国际、国内一流银行成功经验,对标监管机构数据治理要求,建立符合银行现状的企业级数据治理体系及实施路线图,推进数据标准、指标体系及数据质量问题解决等具体工作的开展;或以关键数据为切入点,开展数据质量专项提升,从根源上推动关键数据质量问题的优先解决方案;或从银行实际需求出发,开展数据治理落地试点工作,承接数据治理咨询成果,明确试点范围,建立健全数据质量管理机制等等。

总之,各家银行在数据治理实践中情况各有不同,不能完全照抄,也就是说虽然各家银行都在开展数据治理工作,但在治理方法上需要研判,要结合自身的管理要求,解析问题原因,细化工作步骤,将方法论落到实处,找到一条适合本机构的数据治理之道。

当前银行业数据治理的首要任务是满足监管的刚性要求。2020年5月,银保监会下发了《中国银保监会办公厅关于开展监管数据质量专项治理工作的通知》(银保监办发【2020】45号),要求金融机构提高认识、压实责任,突出重点、标本兼治,强化整改、完善机制。以问题数据为导向,重点对非现场监管(1104)、客户风险、监管数据标准化(EAST)等开展数据质量专项治理,从根源上推动解决目前在各业务领域存在的数据问题。监管对数据治理有着统管宏观的作用,比如人民银行做宏观调控,银保监会做风险监管,这些监管机构需要用精准的数据支持决策和监管,因此,对于银行业金融机构的首要任务是满足监管的刚性要求。其次,在做好数据治理,满足监管要求的同时,银行机构需兼顾协调自身的管理要求,银行业务部门众多,业务量大,业务品种多,必须制定统一的标准,分清部门职责,在数据质量方面不能照抄别人的作业,二是需要认真查找自己的问题,分析原因,制定整改措施,数据治理即要满足外部监管要求,也要满足内部管理的需求。

二、数据质量与管理制度建设

数据治理的核心原则之一是制度先行,标准先行。数据治理框架下的制度建设,一是要正确解读监管政策和要求,解析报送内容及各类指标释义;二是要规范管理流程,明确企业内部职责分工,层层落实责任;三是要规范数据采集加工流程,建立缺失数据补录管控流程和制度;四是要做好同标同源,加强对数据源头的管控;五是要建设良好数据治理企业文化,建立自查自评估机制,并将数据质量纳入企业考核体系。

数据质量具备量化标准,具体来说就是银监会的数据报送要求。上面图中G是数据治理最终要达到的目标。A是数据管理,就是对处于数据生命周期的数据进行评估、遴选、再现以及组织等一系列不间断管理的活动,以保障数据的长期有效使用,从而提升数据价值。B部分是数据质量管理,也就是银行要根据自身的结构特点,对数据质量指标赋权重,形成符合自身特点的数据质量管理方案。C部分是数据治理,它与组织中职责、决策权的分配、与数据管理和数据质量管理紧密相关。A、B、C三部分有交叉也有重合,其中,D部分要求我们制定适中的数据质量策略,包括数据质量管理的目标,以及如何与企业的整体目标和管理相结合,确保数据管理活动符合整体战略规划需要。E围绕数据管理建立和执行的政策和程序是有效数据治理的基础,理解数据管理的含义和缘由是数据治理正常开展的前提。F数据质量是检验数据治理绩效的重要指标。G提升数据价值,完成最终目标G是一个漫长的过程,但是我认为我们应该先定小目标再达成大目标,从小需求出发最终完成大需求。

银监会的要求在整个数据治理过程中是银行业金融机构的方向标,其实制度要求与数据治理是一个上下求索的漫长过程,但是我们今天不是在起步阶段,我们已经在路上,相信在监管标准的指引下,我们的数据治理之路会越走越远,成效也会越来越好。

数据治理是一个螺旋上升、循环迭代、闭环管理的过程。上图是数据质量10大管控流程,每个流程代表着数据治理过程中不可或缺的阶段。信通院云大所提到了数据治理的DCMM认证体系,非常有创意,我认为方法可行,也希望能够有机会与云大所展开合作,完善数据治理体系,细化数据治理方案,落实数据治理责任,实现数据治理各阶段目标。

三、管理制度模板化解决方案

(一)数据治理框架下的制度建设,可以从以下五方面入手:

1、正确解读监管政策,在国家相关政策的引导下开展数据治理工作;

2、制定数据质量管理办法,梳理数据质量工作流程,细化数据质量实施细则;

3、制定数据质量现场和非现场检查管理办法,有效的检查是数据质量管理的有力抓手,可以保障数据治理工作深入持续开展;

4、数据治理离不开数据标准的制定和实施,不仅要从业务视角明确业务规则,而且需要从技术角度制定技术规则、以及数据的链路规程,包括源数据采集标准、取数规则、加工逻辑,对于系统缺失数据的补录规则及流程管控等等;所有这些分析工作都需要业务人员的更多参与,才能确保数据标准在系统中的落地实施。

5、建立数据质量评估和考核机制。一是通过制定自评估模板,对于自查自评出来的问题及时进行整改,不仅可以在一定程度上提高治理工作效率,而且可以使更多的业务部门参与到数据治理的工作中;二是建立数据质量考核指标体系,明确指标释义、考核维度、计算口径,并将最终结果纳入机构的绩效考核体系,实现数据治理工作的长效机制。

(二)数据质量问题处理流程

图一是我和先进数通FDA团队的同事们梳理的关于数据质量问题的处理流程,也是实际操作中的真实案例。整个流程从问题的提出开始,到质量考核共四个阶段,较为完整地梳理了数据质量问题的解决处理流程,此流程分享给会议,供大家借鉴。

关于怎样判定数据质量问题存有很多争议,那么什么样的问题属于数据质量问题,我认为首先需要解决的是监管机构提出的数据问题,或是在业务经营管理中出现的重大数据问题,这些问题从业务层面来看主要体现在数据的准确性、完整性、一致性、及时性等方面,我们首先要做的是将这些问题纳入数据质量问题库,按照问题导向工作原则,分析问题原因,按照问题处理流程图,落实具体责任,制定解决方案快速解决,当然最终还要考虑各家银行的实际情况采取有效的措施。

图二是我们在一家大型城商行的案例。通过对数据质量问题的详细分析,梳理了解决问题的流程,明确各部门职责,制定统一的工作规则,解决了该行内部数据治理责任不清,整改不到位的问题。

(三)正确处理好监管数据质量问题

解决监管数据质量问题是我们首要的工作任务,要对问题数据和业务系统进行梳理分析,快速找出问题所在,及时予以整改。对监管问题的梳理分析和整改包括三方面的内容:一是要分析银行当前基础建设和制度框架的情况,寻找差距和不足;二是要根据监管对银行数据采集能力的要求,梳理数据采集、加工、汇总等各阶段流程,制定缺失数据解决方案;三是整改措施的落地实施,重点在完善制度建设,加强数据质量管控,完善业务系统、报送系统功能,及时查缺补漏,制定可行的实施路线图。

通过管理制度模板化解决方案,梳理数据质量问题处理流程,落实相关部门责任,整改措施落地实施,同步建立数据质量考核体系,我坚信数据治理工作就一定会有成效。

四、数据质量管控解决方案

建立指标体系是数据质量管控的有力抓手,利用指标体系划分业务数据边界,确定治理目标,开展差异化分析,制定有效的解决方法。

首先要明确数据治理业务需求边界,明确分阶段实施目标,银行可以根据自身实际情况制定需求等级,通过对数据治理痛点挖掘、管理流程梳理、质量问题分析等治理要素,分阶段或迭代实施;其次数据标准差异化分析要具体落实到系统,分析并细化新、旧系统落标方案,目前业界比较倾向于仓内落标方案,而各个应用系统与数仓之间的映射表是非常重要的一环,映射表需要实时更新、维护,对此要建立相应的制度保障。映射表是业务和技术的关联,这一点非常重要!

指标体系的层级划分有很多方法,包括总账指标体系、业务统计分析指标体系,业务分析指标体系可以按照存款类指标、贷款类指标、银行卡指标、中间业务指标等等划分,这些基础指标、派生指标、KPI指标形成的指标体系,将有效发挥规范作用,防止并瓦解信息孤岛和部门条块分割的重复建设。此外,数据缺失是数据质量管控的重点之一,需要规范补录管理,严格补录流程,实现数据的准确、完整。

数据治理是一项长期的重要的基础性工作,需要分阶段分内容落地实施。促进银行业金融机构数据治理工作的顺利进行,一是应对标监管机构数据治理要求,逐步推进数据标准、指标体系及数据质量等具体工作;二是应以问题为导向,以关键数据为切入点,开展数据质量专项提升,是从根源上推动解决数据问题较为实用的方法;三是通过治理手段,推动相关业务规范化,持续优化数据资产,发掘、提升数据资产的业务价值,实现数据质量管控的终极目标;四是数据治理需要借助于统一的平台和技术支持,不仅统一标准,而且事半功倍,不断提升数据质量,达到治理的良性循环。

 

 
   
次浏览       
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新活动计划
LLM大模型应用与项目构建 12-26[特惠]
QT应用开发 11-21[线上]
C++高级编程 11-27[北京]
业务建模&领域驱动设计 11-15[北京]
用户研究与用户建模 11-21[北京]
SysML和EA进行系统设计建模 11-28[北京]
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...