| 编辑推荐: |
本文主要介绍数据质量管理主要阶段涉及的数据质量标准体系建设、数据质量过程控制和数据安全管理，希望对您的学习有所帮助。
本文来自于 数字孪生体实验室，由Alice编辑、推荐。 |
|
导 读
当今世界正处于物联网、云计算、人工智能、区块链、大数据等新数字技术日新月异、应用潜能全面迸发的过程，数字技术的应用催生了一个全新的数字时代。在数字时代，上述数字信息技术广泛应用于人们生活的各个角落，并促使社会不断发展变化。数字时代的需求呈现四种特点：多样化、综合化、个性化、互动化。任何企业想要在数字时代下发展和前行，在关注需求的前提下，必须以数字时代的新模式为切入点，以合适的姿态在数字时代中前进。
在这个全新的数字时代，数据成为了其构成的核心要素资产，数据的生成速度比以往任何时候都要快。同样，各企业在实际业务运营过程中也变得越来越数据驱动，业务领先及智能企业可以通过更有效地利用数据而获得竞争优势。这种巨大的数据爆炸给各企业运营带来了更新的不同的挑战――存储大量数据是一件事，但只有当数据具有合适的质量并在合适的时间到达合适的人的时候，才会带来价值。因此，如何在数字时代下保持企业的核心竞争力优势，其关键过程就是需要推动企业的数据质量管理，这也是数字时代下企业质量管理的重点方向。
数据质量管理是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的系列管理活动，它不单纯是一个概念，也不单纯是一项技术、也不单纯是一个系统，更不单纯是一套管理流程，数据质量管理是一个集方法论、技术、业务和管理为一体的解决方案。通过有效的数据质量控制手段，进行数据的管理和控制，消除数据质量问题进而提升企业数据变现的能力。在企业数据质量管理过程中，一切业务、技术和管理活动都围绕这个目标和开展。
数据质量管理是企业循环管理过程，其主要目的是解决企业内部数据使用过程中遇到的数据质量问题，提升数据的完整性、准确性和真实性，为企业的日常经营、精准营销、管理决策、风险管控等提供坚实、可靠的数据基础，并最终为企业赢得经济效益和保持市场核心竞争力。数据质量管理主要阶段涉及数据质量标准体系建设、数据质量过程控制和数据安全管理。以下分别作简要介绍，供大家参考：
1、数据质量标准体系建设
数字时代下，我们不仅要关注数据能不能用，更要关注数据质量、标准、安全等问题，以此提升数据的科学性和使用价值。特别是基于数字孪生体技术的使能应用，更需要建立各行业、各领域数据之间的统一标准，明确数据指标和口径，规范数据市场化交互应用的流程。
在这方面，国家层面已开始着手做了顶层设计与要求。如2020年3月30日，中共中央、国务院印发了《关于构建更加完善的要素市场化配置体制机制的意见》，分类提出土地、劳动力、资本、技术、数据五个要素领域的改革方向和具体举措，部署完善要素价格形成机制和市场运行机制。意见里就加块培育数据要素市场就提出了加强数据资源整合和安全保护，探索建立统一规范的数据管理制度，提高数据质量和规范性，丰富数据产品等要求。
在具体数据质量标准体系建设方面，国际标准化ISO组织工业自动化系统与集成技术委员会（TC184）SC4小组委员会开发并颁布了ISO8000O数据质量标准。该标准致力于管理数据质量，具体来说，包括规范和管理数据质量活动、数据质量原则、数据质量术语、数据质量特征（标准）和数据质量测试。通过ISO8000的标准规范，可以保证企业用户在满足决策需求和数据质量的基础上，在整个产品或服务的周期内高质量地交换、分享和存储数据，从而保证企业用户可以依托获取的数据高效地做出最优化的安全决策。根据ISO8000数据质量标准的要求，数据质量高低程度由系统数据与明确定义的数据要求进行对比而得到。
ISO8000数据质量标准由以下4个部分组成，每个部分独立发布，该标准是受版权保护的，不可免费使用。
一般原则：第0~99部分；
主数据质量：第100~199部分；
交易数据质量：第200~299部分；
产品数据质量：第300~399部分。
因此企业数字化转型要想成功，并继续保持其核心竞争力优势，则必须参考ISO8000标准要求建设一套完整的数据质量管理体系，对企业运营各环节数据进行检核与统计，从制度、标准、监控、流程几个方面提升数据信息的管理能力，解决项目面临的数据标准问题、数据质量问题，为数据质量管理提供准确的数据信息。完成从发现数据问题到最后解决数据问题，不断提高数据质量，形成企业运营各环节数据产生、数据交换、到数据应用过程中数据质量的统一管理与控制。
2、数据质量过程控制
数据质量是解决企业业务能力紧密相关的数据的状态，其过程控制主要涉及数据质量定义与建模、数据质量评估、数据监测和控制等。
数据质量定义与建模过程，主要是指企业要建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义，以上的数据质量的校验规则、采集规则本身也是一种数据，在元数据中定义。
面对企业运营中庞大的数据种类和结构，如果没有元数据来描述这些数据，企业各用户无法准确地获取所需信息。正是通过元数据，使得数据才可以被理解、使用，才会产生价值。构建数据分类和编码体系，形成企业数据资源目录，让用户能够轻松地查找和定位到相关的数据。做好元数据管理，是预防企业数据质量问题的基础。
【图示 元数据管理示意图 来源：谈数据 】
数据质量评估主要涉及以下几个方面：
完整性：完整性用于评估哪些数据丢失了或者哪些数据不可用；
规范性：规范性用于评估哪些数据未按统一格式存储；
一致性：一致性用于评估哪些数据的值在信息含义上是冲突的；
准确性：准确性用于评估哪些数据和信息是不正确的，或者数据是超期的；
唯一性：唯一性用于评估哪些数据是重复数据或者数据的哪些属性是重复的；
关联性：关联性用于评估哪些关联的数据缺失或者未建立索引。
从通常评估结果来看，影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素。
数据监测与控制，是指数据质量管理不是一次性的工作，而是一个不间断的过程，我们需要定期的去监测企业数据质量管理策略和应用规则，包括优化算法等，以不断调整和改进它们。因为数字时代下，商业环境在不断变化，企业可能会选择通过购买和集成外部数据来丰富其客户数据，来应对客户的个性化定制需求。因此，他们将不得不提出新的数据质量规则，并随时监测与控制，因为外部数据集可以包含到目前为止尚未处理的数据。
3、数据安全管理
数字时代下，数字经济的迅速发展给人们的日常生活带来了极大的便捷，但是在享受数字技术优势的同时，也存在涉及个人数据应用安全性的风险问题。近些年来，大型数据泄露事件层出不穷，从去年接连发生两次的FaceBook数据泄露、美国知乎Quora数据泄露、Google+账户泄露，到众多国内商业巨头纷纷中招，甚至在2018年8月和11月发生的两起均超过5亿条数据的华住、万豪酒店集团数据泄露事件，无不说明了传统网络安全中以抵御攻击为中心，以黑客为防御对象的策略和安全体系构建存在重大的安全缺陷，传统网络安全为中心需要向数据为中心的安全策略转变。
由此可见，随着大数据技术的不断深入应用，大数据时代下的信息安全防护所面临的风险相比以前也发生了根本性的变化。从信息安全的角度考虑和出发，大数据时代下企业运营数据安全面临多项挑战。例如，企业运营数据质量及安全难以保证，尤其是跨系统、跨业务平台测试数据难以获取并验证，数据质量难以保证；企业用户因为对业务系统不熟悉而导致在使用过程中进行误操作给企业业务运营造成难以恢复的损失；外部非授权人员（如黑客）对数据库进行恶意入侵，获取或者删除数据库里的数据；数据具有易复制的特征，所有针对数据的安全事件发生后，无法进行有效的追溯和审计；数据具有易流动的特征，大量数据的汇集不可避免地加大了泄露的风险，在数据传输过程中或多或少会存在主动或意外的数据泄漏；数据具有难管理的特征，大数据技术成为黑客的攻击手段；企业业务系统用户、企业维护人员、外部访问用户在访问企业业务数据时，操作数据库的行为缺乏综合审计。
我们国内在这块加强了相应的法规标准建设，如2019年8月30日，《信息安全技术－数据安全能力成熟度模型》（GB/T
37988-2019）简称DSMM（Data Security Maturity Model）正式成为国标对外发布，并已于2020年3月起正式实施。企业在推行业务运营数据安全管理时，完全可以参考该标准来实施，构建符合企业自身特点的运营数据安全能力成熟度模型和运营数据安全管理体系。
DSMM将数据按照其生命周期分阶段采用不同的能力评估等级，分为数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据交换安全、数据销毁安全六个阶段。DSMM从组织建设、制度流程、技术工具、人员能力四个安全能力维度的建设进行综合考量。DSMM将数据安全成熟度划分成了1-5个等级，依次为非正式执行级、计划跟踪级、充分定义级、量化控制级、持续优化级，形成一个三维立体模型，全方面对数据安全进行能力建设。
【图示 数据安全管理成熟度三维立体模型示意 来源：网络 】
随着《中华人民共和国数据安全法(草案)》的公布，后续DSMM很可能会成为该法案的具体落地标准和衡量指标，对于中国企业而言，以DSMM为数据安全管理思路方案选型，可以更好的实现企业运营数据安全管理的制度合规。
|
