您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
   
 
     
   
 
 订阅
详解数据治理和数据分类分级
 
 
   次浏览      
 2023-10-25
 
编辑推荐:
本文主要介绍了数据治理和数据分类分级相关知识。希望对你的学习有帮助。
本文来自于微信公众号数据学堂,由Linda编辑、推荐。

01数据分类分级提出的背景

数据的价值

1.数据爆炸时代,数据量呈指数级增长

我们要如何看待数据这个话题。数据大爆炸已经成为了一个趋势,随着数字化转型的步伐逐步加快,数据的诞生不断加快。我们已经真正步入到一个大数据的时代。每个人每时每刻都在产生大量的数据,随着移动互联网的应用和传感网络的普及,我们的数据呈海量式增长,根据IDC发布的报告中统计,到2025年,全球的数据量将达到史无前例的163ZB。

80%以上的应用,将实现云化,加上物联网、智慧城市、人工智能、5g等新技术的应用,将不断的纵深发展,使得数据量有机会实现海量的增长。IDC研究的报告表明,我们每两年可获取的数据量将翻一番。这是我们看到的一个数据发展的过程。

因此我们真正进入到了一个数据爆炸的时代,疯狂的大数据使我们沉入到了一个数据海洋中。

2.数据成为数字时代重要战略资源

回顾数据发展的整个过程会发现,数据已经成为当代的战略性的资源。从上世纪四十年代到八十年代,由于计算机的昂贵、体积大、能耗高,往往只限于国防、气象、科研研究的一些领域。那时候一台计算机是有几个房子那么大,数据的存储量不是很高。而进入到了信息技术的1.0时代,也称为IT时代,这一时期是以单机应用为主要特征的数字化阶段,以数字化办公和信息管理系统逐渐代替纯手工数据,此时的数据仅限于办公等信息。信息化1.0阶段的特征是数据信息描绘(映射)现实。

从上世纪九十年代中期到2015年,随着网络发展,特别是互联网的兴起。以互联网为应用特征的网络化,加速了数据的传播、流通和汇聚,数据呈现海量的、多样性、时效性、低价值密度等一系列特征。网络促进了我们彼此的交流沟通,将各个方面的事情组合起来。这时候数据驱动现实模式的改变。电子商务的兴起,电子政务的广泛应用,使我们真正进入了网络的时代,就是“IT+”时代。

进入到2015年,特别是大数据技术的兴起,我们实际上是进入到真正意义上的数据时代:以数据的深度挖掘和融合应用为特征的智能化时代。特别是传感网络无处不在的现实及广泛应用,使数据量急剧增长。数据不断的产生、计算、分析、应用、迭代……构成了一个真正意义上的网络,我们已经深入到网络空间中,成为自海、陆、空、天之后人类的第五大生存空间。

而在这个第五大生存空间中,数据扮演了重要的角色,成为网络空间源源不断地流淌的血液,成为了知识经济的原材料更成为继物质、能源之后又一种重要的生产要素和战略资源。数据进一步变成了驱动现实的一种方式。

特别是随着数字孪生技术的发展,我们通过这种方式可以进一步的描述现实,进而再来改变现实。从未来发展趋势看,数据要素已成为重要的发展驱动。

我们国家高度重视新技术的发展,那么如何在这一宏观背景下将数据要素的价值真正释放出来呢?

3.生产要素由市场评价贡献、按贡献决定报酬机制开始建立

如果放在更加宏观的历史背景来看,数据成为农耕社会后的重要的生产要素是人类进入信息化社会之后才形成的。我们回顾历史看看生产要素的变更过程。

农耕社会主要的生产要素是土地、劳动力,在构造及生产发展的过程,要解决人类的生存,解决吃饭的问题,这是农耕文化发展的过程。

步入到工业社会,核心的生产要素是土地、劳动力、资本、技术、管理、知识。这时候是通过这种方式来促进工业化的革起,通过大规模化的生产,通过资本的力量来带动土地、劳动力的有效流通,这为为现代化工业生产奠定良好的基础。

第一方面的任务是推进政府数据资源的开放共享。这里重点围绕着经济治理数据资源库建设、数据共享交换以及数据开放流通制度这方面的工作开展,目的是要丰富数据资源体系,促进数据资源的有序开放共享和有效流动。

第二方面的任务是提升社会资源的价值,包括两方面的工作内容:

一是要围绕着数字经济的新产业、新业态、新模式来支撑构建农业、工业、交通、教育、安防、城市管理、公共数据交易等方面的数据资源开发利用场景,促进数据开发利用。

二是要规范数据的采集行为。要发挥行业协会商会的作用,推动人工智能、可穿戴设备、车联网、物联网等相关领域的数据采集的标准化、规范化,使数据的质量不断提升,使数据的内容不断丰富。

第三方面的任务是加强数据资源的整合和安全保护,主要包括四方面工作内容:

一是建立统一规范的数据管理制度,提升数据的规范性。

二是根据数据性质完善数据产权性质,探索不同类别数据的差异化管理。

三是制定数据隐私保护制度和数据安全的审查制度,形成一个数据安全保护制度体系。

四是推动完善适用于大数据环境下的数据分类分级安全保护制度,通过分类分级来完善安全的保护制度,分类施策,对政务数据,企业商业机密和个人数据进行差异化的保护,加强对政务数据、企业商业秘密和个人数据的保护。

以上就是中央文件关于数据要素市场培育的主要内容。这又提出了一个新的话题,就是在这样的一个构建数字要素市场过程中,我们必须对数据的特征进行进一步的分析,要对差异化的数据开展治理。

数据治理的必要性

1.海量数据需要治理

海量数据的爆发增长使我们犹如进入了一个数字海洋,我们在数据的海洋中望洋兴叹,不知所踪。数据蕴含着丰富的价值,是当代的石油,当代的黄金。但是如果不能对数据进行有效管理和开发,数据并不可能产生真正的价值。如果没有高效的管理和治理,数据价值就不可能产生,甚至有可能造成巨大的风险,有效的数据管理和治理是数字经济发展的基础。

2.海量的数据引发“数据危机”

同时我们看到,数据时代还面临着数据危机的挑战。海量的数据引发我们的对“数据危机”的思考。“数据危机”这个概念是引用了上世纪六十年代所谈到的软件危机。软件危机导致的最大的问题是软件的开发模式无法适应快速增长的软件需求,质量无法保证。我们对比来看,当今的数据也有软件危机的表现形式。

一是数据壁垒森严。当前国际上普遍形成了一种各自本地化的要求,形成了一个数据壁垒。2016年欧洲国际政治经济中心(ECIPE)研究分析了强制数据本地化等数据保护措施对巴西、欧盟等 7个国家和地区造成的负面经济影响。

二是数据垄断。2018年3月,Facebook被爆出与英国咨询公司剑桥分析违规分享超过5000万用户数据,在用户不知情的情况下,上述数据被剑桥分析用于用户心理剖析,并为其目标客户投放针对性的政治竞选广告。

三是内部数据的泄露事件也频发。实际上,很多泄露的内容大部分都是来源于内部管理的失效,大量的数据泄露的事件,对于我们的个人的隐私,乃至我们的金融安全,造成了很大的风险。

四是数据质量问题。海量的数据汇集完以后,数据的质量差、缺乏管理、数据不完备、无效性、冷数据、数据标准规范、数据、权威性不足,导致无法利用高质量的数据进行科学的决策,影响数据的高效应用,数据的茫茫大海,我们有迷失方向的威胁。

3.数据管理(治理)成为国际关注焦点

为此,各国都在将数据管理和治理看作重要的内容,这也成为全球关注的焦点。比如欧盟,发布了全球第一个最严格的数据法规——《通用数据保护条例》(GDPR);法国提出了“数据税”的探索;美国联邦政府将数据作为政府的联邦战略,以政府数据治理为主要视角,来提出了未来的联邦政府的数据的愿景和关键的行动计划;2020年2月,欧盟也发布了《欧盟数据战略》,以数字经济发展为主要视角,推动构建欧洲单一数据市场,提升竞争力。

总的来说,数据管理成为未来全球各国竞争的焦点,成为各国的战略聚焦点。数据治理,也成为国家治理的有效手段和重要组成部分。

4.我国积极推动大数据发展战略实施

党的十八大以来,以习近平同志为核心的党中央高度重视发展数字经济,推动数字经济逐步上升为国家战略。特别是在十九大报告中,提出了要推动互联网大数据、人工智能与实体经济的深度融合,进一步突出了大数据作为我国基础战略性资源的重要地位。

从目前分析来看,中国是全球数据增长最快的,拥有数据最多的国家。我们掌握了丰富的高质量的数据,如何将这些数据转化成新的经济增长的动力是我们经济发展下一步的主要内容。对这样海量的数据进行有效的管理是我们大家共同面临的主要目标。

这里的核心就是做到数据的有效的管理。我认为的数据如源源不断的水,不断滋润着数字经济的发展。中国人崇尚水文化,强调上善若水,水善利万物而不争。但是我们也看到,水可载舟,亦可覆舟,如果说不能对水进行有效的治理,就会导致水患。同样的,数据也需要治理。加强数据治理,发挥数据价值成为抢占未来发展主动权的重要方向。

5.数据管理及治理的价值和意义

那么这个从几个方面来看数据治理和管理的价值。

第一,是组织机构数字资产保值增值的必然举措。通过数据驱动来提高我们的运营效率,降低组织的投入成本,提升组织的管理过程。通过有效的组织管理来提升组织的资产价值,那么我们必须要按照资产的方式,将数据进行管理。

第二,有助于引领行业的创新和规范化的发展。对数据进行有效的管理一方面可以进一步促进产业转型升级,另一方面,数据管理也成为行业监管的有效手段,通过数据的有效管控对行业进行规划。再之,通过数据有效治理和管理,能够培养一批既懂产业,又懂数据的核心人才,让这些人不断地发展我国的数据产业。

第三,通过数据赋能治理体系和治理能力现代化。通过“数据多跑路,百姓少跑腿”,“用数据决策、用数据说话、用数据管理”来提升政府的治理水平和治理能力现代化。通过网络通、数据通和业务通,来倒逼政府的内部的制度优化,助力政府、市场和社会关系的协调平衡。利用信息化的手段来提升政府的治理能力,通过数据的粘合提升行政管理效率,打造一个真正让人民满意的服务型政府。

工业数据管理意义

1. 国际视角:主要发达国家纷纷布局工业数据抢占先机

从国际视角来看,我们面临着制造业转型升级的重要先机,各个发达国家都纷纷布局工业数据先机。随着云计算、大数据和物联网等新兴产业的发展,全球掀起了以制造业转型升级为主要任务的新一轮工业革命,各个发达国家纷纷制定再工业化的战略。

法国在2013年提出了“新工业法国计划”,主要就是实现工业生产向数字化、智能化的转型,以生产工具的转型升级带动商业模式的转型。

2015年由德国提出的工业4.0战略,实施重点在于信息互联技术与传统工业制造的结合,强调通过CPS(信息物理系统)提升制造业的灵活性和工程效率,掀起了全球工业化改革的新一轮革命。美国也在2018年提出了《先进制造业领导力战略》,提出“要通过大数据分析和先进传感和控制技术应用于大量制造业活动,促进制造业的数字化转型”。

2. 国家视角:我国由制造大国向制造强国转变的关键举措

我们国家已经成为全球重要的制造大国,当前中国制造业面临产业“双向转移”的压力。劳动密集型的中小制造企业正在向其他劳动力和资源更低廉的新兴发展中国家转移,部分高端制造业在向欧美发达国家回流。

作为制造业大国,我们时刻产生着海量的工业数据,这成为我们国家国际竞争和国家安全的基础要素,也是我们国家制造业转型升级的战略资源。如何做好数据大文章,是我们从“跟跑、并跑、到领跑”,实现“弯道取直、,“跨越发展”的关键要素支撑。

3.企业视角:推进企业数字化转型的紧迫要求

从企业视角来看,工业数据是制造业实现从传统要素驱动向数字要素驱动的核心关键。

一是优化全要素配置效率。通过全产业链供需数据来进一步优化要素的配置效率,优化配置生产所需的原材料,设备,劳动力,资金等,可以实现农业生产,调度,分配,全局优化,促进工业全要素生产率的全面提升。

二是改进生产过程的质量保证。通过建立包括产品生产过程的工艺数据、,在线监测数据等全生命周期的质量数据体系,可以有效的追踪数据质量问题产生的原因,持续增强生产过程的质量保障能力。

三是可以促进生产流程的智能化。通过对设备和工厂进行智能化升级,促进数据共享系统和业务的协同,实现制造过程中的科学决策,进一步促进生产过程的智能化、定制化、柔性化、自我优化,实现真正意义上的精准制造、高端制造、敏捷制造能力。

工业数据的聚合融通离不开数据的有效管理,更需要数据的安全使用。工业数据作为全新的生产要素,在管理执行,开发利用,流通共享等方面存在的问题困难是我们需要进一步加以研究和分析的。

02 工业数据分类分级情况介绍

工业如何加强企业数据管理能力?方法路径有很多。而我们认为开展数据分类分级,则是落实国家要求,提升制造业企业数据管理的重要举措。《大数据产业发展规划(2016-2020年)》将数据资源分类标识作为数据管理要点。《工业控制系统信息安全防护指南》提出对数据进行分级分类管理。

2018年出台的《数据管理能力成熟度评估模型》(DCMM)明确将数据分类分级作为数据管理能力第2级(受管理级)至第5级(优化级)的基本要求。企业如何做好自身数据分类分级,提升数据管理能力?这就亟需有关部门制定文件,指导企业开展数据分类分级工作。

工业数据分类分级是企业提升数据管理能力的基本功,是实现企业数据差异化,安全防护管理的基本前提,是企业数据价值释放、共享流通,开发利用的必由之路。

但企业该如何做好自身数据分类分级,提升数据管理能力?这就亟需有关部门制定文件,指导企业开展数据分类分级工作。

在此背景下,今年3月份,工信部专门发布《工业数据分类分级指南(试行)》(以下简称《指南》),旨在指导企业全面梳理自身工业数据,提升数据分级管理能力,促进数据充分使用、全局流动和有序共享。。下面围绕这个指南的内容和大家做一个分享。

《指南》解读

1.《指南》基本内容

《指南》对工业数据分类分级提出了部署要求。指南分4章,共16条。指南总则部分是原则和目标,第二章围绕着数据分类有三条,第三章围绕着数据分级有四条,第五章围绕着分级管理有五条,《指南》以提升工业企业的数据管理能力为目标。

《指南》提出,开展数据分类分级坚持三个结合原则。一是以问题导向、目标导向和结果导向相结合。二是企业为主体,行业为指导,属地监管相结合原则,三是分类标识,逐级定级,分级管理相结合原则。

2.数据分类分级目的及意义

通过研读《指南》内容,可以看出,数据分类治理是实现不同企业之间数据共享互认的基本功。我们通过分类标识过程,将分散的、存储在不同系统的数据内容,进行有效匹配、互认,讲工业数据管理由原来的“杂货铺”变成一个“自动化仓库”,实现工业数据的共享流通。

工业数据的分级治理是确保数据安全的基准线。随着越来越多的设备系统生产和服务暴露在互联网中,数据安全的风险越来越大。为此,我们一定要站在安全的视角上进行分级,结合工业数据的属性、安全的防护要求,构建数据分级管理的制度体系,分级施策,确保工业数据的安全。

工业数据多方治理是理清各方职责的指示灯。工业数据分布在不同的部门,涉及的主体众多,参与职责现在目前不清楚,各企业也没有建立一个有效的推进机制。为此,我们必须要以治理的方式为重点协调各方,有效的推动工业数据的分类,明确各个治理主体的分工,理清各方的职责权限,从而建立有效的管理机制来保证工业数据的分类分级持续开展。

工业数据分类分级工作的核心目的就是要提升制造业企业的数据管理,进而促进加快数据要素市场培育。一要实现对企业系统数据进行全面的盘点和分类梳理。二要实现对数据的分类分级的管理。三进而打破数据的孤岛,实现数据在行业内、在企业内的有效的共享和深度开发利用。

工业数据分类分级试点工作内容

1.试点工作目标及原则

在试点过程中,我们主要核心工作就是要将我们的工业数据分类分级的指南推向深入,让企业结合各自的特点开展工作。自3月份以来,虽受疫情的影响,但工信部还是组织开展了工业数据分类分级的利用试点工作。试点的目标就是按照工业数据分类分级的要求推动相关应用试点企业完成数据底账,进而提升工业数据的管理能力。

实际上就是指在实践过程中,要坚持问题导向、目标导向。要以解决问题为指引,集中试点企业的全部力量和有效的资源,攻坚克难,全面的探索工业数据分类分级所存在的问题和矛盾。以目标为导向,就是为了提高企业数据管理的能力,持之以恒一步一个脚印的朝着目标奋斗。坚持问题为导向,坚持把企业的数据底账摸清。

2.工作主体

数据分类分级试点工作主体包括三类:核心主体是企业,赛迪这样的第三方机构作为支撑机构全程引导企业开展试点工作;而行业协会和政府则起到监督指导作用,逐步实现”企业点突破、行业线贯通、地方面推广”的的工业数据分类分级管理体系,提升数据管理和安全防护能力。

3.三项重点工作

那么核心就是要抓住三个重点:

一是分类标识要全。要对工业企业的全量数据进行全面的梳理进行分类标识,做全面的梳理盘点,将企业内部的数据作为资产一样进行管理。像垃圾分类一样,将各类数据分门别类,有效的管理起来。

二是要逐类的定级,定级要准。按照数据的受损情况进行定级,来保证数据的有效性。数据分级站在数据的安全的受损的视角上进行,分类定级不是目的,目的是要进行分级的管理,要保证数据的安全,保证企业的数据价值的有效释放。这就要求我们差异化分类施策。

三是分级管理要细致到位。这样形成一个有效的闭环,把数据作为一个有效的过程来去做,通过试点积累的工作经验,提炼经验做法成为我们的方法论,培育行业标杆,通过他们现身说法,来进一步解释数据价值释放过程。

工业数据分类分级试点推进情况

赛迪研究院在这一过程中积极配合工信部和相关的行业协会,做好相关的配合工作开展了一系列相关的培训和调研工作,不断地完善相关的模板,来提升相关的内容。

这个过程中,我们跟相关的领导依次走访了建筑建材、酒业协会、纺织协会、工程机械协会等了解相关情况、探索相关的规律,通过这种方式促进企业数据分类分级试点工作开展。

03 工业数据分类分级推进路径

对于企业内部来说,如何来开展数据的分类分级?这就要进一步学习领会3月份发布的工业数据分类分级的指南试行版的内容。

理顺工作思路

一方面,要理清工作思路,首先要明确三级分类的范围。另一方面,要从数据产生系统和业务出发,将业务的框架、逻辑、表现过程,按业务、系统、模块等不同的衡量进行分类。三就是要从业务和系统看数据的分布情况,要明确数据在哪里、数据由谁提供、数据的格式是什么等等这方面问题。

定级就是要对数据的安全性,对每类数据进行级别的划分,然后进行差异化的防护。理清工作思路就能清楚如何开展数据分类分级工作。

明确数据类别分类

明确数据类别分类也是很多企业困扰一个问题。

我认为,可以从两方面入手。一方面是站在组织架构和核心业务的视角来分析数据,就是按照部门业务、数据内容,对企业数据进行全面的梳理,这样是站在业务侧来去看数据系统化、规范化的管理程度。

另一个可以从数据从哪里来入手。基于“企业业务—支撑业务的系统功能—对应数据库和数据表”进行分类。大部分数据都来源于信息系统,我们可以站在业务——支撑各个业务系统的系统功能上,对现有的数据库、数据表进行分类。大部分的企业可以通过先梳理现有的业务系统,如ERP、MES系统,按照《指南》的五个数据域进行分类,然后根据功能模块对应的数据库和数据表今后一步划分数据子类。

这两方面是殊途同归的。一个是站在业务视角上考虑问题,一个是从技术视角上考虑问题,相互促进。

做好工作保障

数据分类分级的各项工作绝不仅仅是IT部门的事情,它是一个治理的过程,必须要形成一个良好的综合协调机制,要以业务视角和技术视角相融合的方式来开展,这样才能使工作推向深入。

另一方面,要实现数据分类分级全覆盖,要按照工序,业务流程,功能等思考数据分类分级。同时,要细致准确的做好数据的逐类定级,要把数据的受损情况降低到最低,然后来评价每项数据的保护措施是否到位,这样才能够形成一个闭环。最后,要在现有的基础上,站在数据的维度上进行管理,进一步梳理数据,形成一个有机的管理体系。

寻求第三方支撑

这里实际上要如何做好呢?很多企业还不会做的话可以寻找第三方的支持。第三方机构的支撑工作内容包括开展深入的调研,充分收集相关的信息;评估调研的结果,找到症结所在;组织内部的培训,加大方法的宣传;编制相关的指导文件,构建相关的管理体系;指导结果的审核,做好评定的准备;监控咨询的质量,提高优质的服务,这样才能够保证这项工作得到有效进行。

最后,我们也希望大家,在这个后面的过程中能够进一步的围绕着数据的理论性问题进行探讨,寻找“数”之道理,围绕着数据治理、数据流通、数据安全、数据属性、数据伦理等这些理论性问题开展研究;探索数据之道路,围绕着数据的应用问题,例如数字经济、数字化转型、数字政府、智慧城市等内容,开展相关的内容研究;寻觅数据之道法,实际上是在技术上要解决数字孪生,数据中台,数字新基建等方面问题,通过技术侧来支撑理论和应用的落地,来保证数据价值的实现。

今晚跟大家交流,也希望在座的各位企业家们能够重视工业数据的分类分级,早做比晚做好,数据治理是一个长期的过程,需要一把手重视,全员参与,共同促进这项工作不断发展。

我认为数据治理是一个有起点,没有终点的过程,是必须要坚持,久久为功常抓不懈才能走向深入。

   
次浏览       
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训

最新活动计划
C++高级编程 12-25 [线上]
白盒测试技术与工具实践 12-24[线上]
LLM大模型应用与项目构建 12-26[特惠]
需求分析最佳实践与沙盘演练 1-6[线上]
SysML建模专家 1-16[北京]
UAF架构体系与实践 1-22[北京]
 
 
最新文章
大数据平台下的数据治理
如何设计实时数据平台(技术篇)
大数据资产管理总体框架概述
Kafka架构和原理
ELK多种架构及优劣
最新课程
大数据平台搭建与高性能计算
大数据平台架构与应用实战
大数据系统运维
大数据分析与管理
Python及数据分析
更多...   
成功案例
某通信设备企业 Python数据分析与挖掘
某银行 人工智能+Python+大数据
北京 Python及数据分析
神龙汽车 大数据技术平台-Hadoop
中国电信 大数据时代与现代企业的数据化运营实践
更多...