一文看懂数据治理，谈谈数字化转型中数据治理的实践经验

 

如果管理得当，数据可以成为组织最有价值的资产，帮助组织保持竞争力和敏捷性，主动满足客户需求，并控制成本。各种规模的组织都在努力将数据作为资产进行管理，以便在多个软件应用程序和系统、业务流程以及整个组织的用户之间共享和重用。这需要为数据的使用、开发和管理建立标准、策略和流程。创建正确的组织结构和开发技术基础设施来支持数据治理也是至关重要的。

一、引言

尽管数据的价值没有体现在资产负债表上，但它仍然是组织中最重要的资产之一。数据代表了一个组织的客户、员工和供应商的活动和交易以及结果。

作为一种植根于公司和信息技术(IT)治理的实践，数据治理被定义为管理和确保组织中数据的可用性、可访问性、质量、一致性、可审计性和安全性所需的过程、策略、标准、组织和技术。

数据治理的目标是:

•确保数据符合业务的需要

•保护和管理数据作为企业的资产价值

•降低管理数据的成本

虽然理论上实现这些目标很有吸引力，但将数据治理付诸实践需要一个引人注目的业务驱动因素。本文将探讨数据治理计划最常见的业务驱动因素，包括:

•通过增加交叉销售/追加销售率和通过对现有客户的深入了解提高现有客户的保留率来增加收入。

•通过业务流程自动化和消除冗余来提高运营效率，降低成本。

•通过简化报告数据的收集和提高可审计性，确保符合外部法规和内部治理政策。

二 数据治理的发展

为了理解数据治理作为一种实践是如何演变的，应该在企业和信息技术(IT)治理的更广泛的环境下对其根源进行审查。

A.公司治理和IT治理

公司治理是多年来建立起来的一门学科，它被定义为“一套影响公司指导、管理或控制方式的过程、惯例、政策、法律和制度”。公司治理下的实践领域之一是IT治理，它被定义为“确保组织的IT维持并扩展组织的策略和目标的领导和组织结构和过程”。

与公司治理一样，IT治理也是一门成熟的学科。行业组织，如IT治理研究所和国际标准化组织(ISO)，已经建立了详细的IT治理标准和流程，许多组织已经将其付诸实践。

然而，这些IT治理实践中有许多已经演变成基于通用IT组织结构和部署架构的模式，传统上以软件应用程序(如企业资源规划(ERP)或客户关系管理(CRM))为中心。从大型机到客户机-服务器体系结构再到Web应用程序，IT部门关注的是应用程序和这些应用程序的用户界面，而不是驱动应用程序的数据。通常，数据是在如何服务于特定应用程序的中进行管理的，而不是如何服务于整个组织的战略利益。

因此，IT治理实践主要围绕组织的应用程序设计，而不是其数据。在大多数组织中，都有明确定义的所有者、流程和策略来管理企业软件应用程序。

例如，当一个公司实现像SAP这样复杂的ERP系统时，SAP实现通常由SAP程序办公室管理和治理，SAP程序办公室从业务和IT的角度清楚地描述了管理和开发SAP环境的职责。然而，许多组织缺乏对其最有价值的核心数据资产(如客户、员工或产品数据)的等效治理结构。

B.数据治理的崛起

以应用程序为中心的IT治理方法不再满足当今快速发展的业务和IT环境的最大利益。如下图所示，组织正努力使他们的IT系统与其业务流程保持一致，而不是强迫业务流程适应现有应用程序或系统的约束。由于大多数业务流程跨越多个应用程序，IT组织和软件供应商正忙于将应用程序分解为组件或服务，这些组件或服务可以以灵活的方式混合和匹配，以支持业务流程。

 

此外，越来越明显的是，企业数据(如客户、员工或产品数据)也需要在多个应用程序和业务流程之间共享，而不是只应用于一个特定的应用程序。

因此，为了从企业数据中获得最大价值，组织需要更多地关注数据本身以及如何将其作为资产进行管理。

数据是组织中最重要的资产之一，即使它的价值没有体现在资产负债表上。数据也是最终的可重用资产，如果管理得当的话。例如，关于特定客户的盈利能力的数据可以在多个业务中使用。这些数据可以推动客户服务中心如何优先处理客户电话的日常决策。他们可以提供产品或客户细分利润的分析。他们可以推动营销团队如何设计忠诚和保留计划。它们还可以用于财务部门对利润率和收益的调整。

为了保持竞争力和灵活性，主动满足客户需求，并控制成本，各种规模的组织都在努力将数据作为企业资产来管理，以便在多个应用程序、用户、系统和流程之间共享和重用。这有时是更广泛的企业信息管理(EIM)计划的一部分，它是一种提高信息资产的准确性和完整性的策略，以更好地服务于公司的技术、运营和业务目标。

为了增加数据作为业务资产的价值，组织需要为数据的使用、开发和管理建立标准、政策和流程，以创建正确的组织结构，并开发支持的技术基础设施。因此，数据治理已经成为一门重要的学科。

TDWI最近进行的一项调查强调，越来越多的组织投资于正式的数据治理计划。750个响应的组织中有8%已经部署了数据治理计划;17%的人正在设计或实施;33%的人正在考虑这样做。结果还表明,数据治理是一个新兴的实践领域，大多数治理工作海在早期阶段,许多组织仍在努力构建数据治理的业务案例。

三 数据治理的业务驱动因素

虽然组织可能希望在理论上实现数据治理的目标，但他们很难证明这种努力的合理性，除非对业务有实际的、具体的影响。将数据治理付诸实践需要一个引人注目的业务驱动因素。业务驱动强调数据对业务的重要性，并激励业务和IT部门对数据开发进行投资。

数据治理计划最常见的业务驱动因素是:

•收入增长

•降低成本

•确保合规

这些都是任何业务的最基本的目标之一，更详细地研究它们并保障数据治理在实现这些目标方面所能发挥的整体作用是很有用的。

A.收入增长

几乎所有企业最重要的目标之一就是增加收入。增加收入最有效的方法之一是增加交叉销售/追加销售率，并提高现有客户的留存率。要做到这一点，企业需要对现有客户有广泛而深入的了解。他们需要一个“单一的客户视角”来提供更好的服务，并根据特定客户的需求进行更好的目标活动和报价。

最常见的抱怨和意见是:

•“我们不知道应该向客户交叉销售哪些产品或服务，因为客户的购买记录和时间分布在六个不同的系统中。”

•“如果客户在我们的支持系统中记录了一个问题，需要几个小时才能在呼叫中心的客户服务代表系统中显示出来。因此，当我们与客户交谈时，我们的服务代表没有真正最新的客户信息，这真的会让客户和服务代表都感到沮丧。”

•“我们失去了一些客户的联系，而向另一些客户则不断地提供同样的服务。我们的客户数据不可靠。有时信息缺失，有时又有相互冲突的信息。”

•“我们的销售、营销和服务机构对‘客户’的定义都不一样，所以我们无法通过这三种职能来全面了解客户。”

•“我们计算了每个客户的盈利能力，但没有相关文件，所以没有人相信或使用这些信息。”

•“我们担心安全问题。如果未经授权的人访问或更改任何客户数据，我们的声誉、形象和竞争地位都会受到损害。”

客户数据常常分散在数十个甚至数百个不同的业务系统中。为了解决这些数据问题，公司必须解决与数据相关的底层组织、流程和技术问题。数据治理提供了解决复杂问题的框架，如提高数据质量或在企业级别开发单个客户视图。

B .降低成本

随着降低成本的压力越来越大，提高运营效率成为大多数组织的主要优先事项。组织降低成本和提高运营效率的一个重要方法是实现业务流程的自动化。

例如，组织可以将他们的采购过程自动化以降低采购和管理成本。虽然业务流程自动化提高了效率，但企业数据的问题阻碍了公司充分利用运营效率计划的潜力。

在多个财务、人力资源、销售和其他业务系统中对业务流程进行排序，需要在这些系统中协调数据的结构和含义——这一任务通常是运营效率计划中事后才想到的。

各种规模的组织都面临着在运营效率计划中常见的与数据相关的问题，包括:

•“很难与我们的供应商进行有效谈判，因为很难从我们的亚洲子公司获取供应商数据。它被放置在一个神秘的遗留主机系统中，我们无法轻易访问它。”

•“我们承受着缺货和库存过剩的压力，因为我们只能每周发布全球库存报告。他们要花一个周末的时间来处理。”

•“我们的采购分析师不得不花很多时间手动协调采购订单和发票，因为来自我们供应商的数据充满了错误和不完整的信息。”

•“我们的供应商都有不同的产品代码，因此我们无法从全球视角看待我们的供应链。很难预测库存水平或交货时间表。”

•“销售部门会给我们发送预测数据，但没人知道他们是如何得出这些数字的，所以我们不能依赖这些数据。”

•“我们需要仔细控制哪些数据可以被哪个供应商看到，这样他们就不会意外地看到竞争对手的信息。”

C .确保合规

如今，企业经营需要遵守越来越多的外部法规，以及旨在提高透明度、防止公司渎职和欺诈的内部公司治理政策。为了确保遵守诸如萨班斯-奥克斯利(Sarbanes-Oxley)、巴塞尔协议、信息和相关技术控制目标(CobiT)、美国《医疗保险便携性和责任法案》(HIPAA)等法规以及内部政策和控制，公司必须精简报告数据的收集。对于许多法规，它们还必须记录所报告的数据来源并验证其准确性，并实施特定的治理策略。

当涉及到如何处理数据时，遵守这些法规和政策会给公司带来负担。常见的问题包括:

•“从主机到电子表格等数十种不同来源收集财务数据是很困难的，因此总是有很多IT人员参与收集数据，这减慢了整个过程。”

•“我们的首席财务官要求在他的电脑上获取每天的所有信息。我们现在不能这么做。”

•“我们向审计人员报告的数据必须干净、准确，但目前还远远不够。”

•“我们不同的业务部门使用不同的账目图表，所以我们的分析师要花好几天来协调它们。”

•“我们的很多合规报告都是通过电子表格完成的，这对审计师来说是行不通的。”

•“这些都是敏感数据。我们必须小心控制他们，否则我们可能面临巨额罚款。”

数据治理是确保遵从性的必要基础。它建立严格的数据标准、策略和流程，这些是法规和公司治理策略所需要的，并帮助自动化与遵从性相关的任务，从而降低成本。它还有助于确保数据的可靠性和可审计性。

四、扩大数据治理需求的业务趋势

除了这些业务驱动因素，两个宏观业务趋势正在进一步提升对数据治理的需求:并购活动的增加，以及合作和外包非核心业务功能的增加。

A.并购

随着并购活动的增多，组织面临着合理化和协调来自合并或收购实体的IT环境的需要。通常，这些IT环境具有很多不同的系统、数据模型和业务流程。在并购后，IT组织经常被要求满足非常紧迫的集成时间。其目标是加速合并所承诺的协同效应，包括通过消除冗余来降低成本，以及通过增加交叉销售来增加收入。

在合并或收购之后，迁移和整合数据的过程是一项巨大的任务——一开始常常被低估。IT团队必须处理未知的系统，解决质量问题，并提供关于信息如何被合并的详细文档。这个任务涉及的不仅仅是技术整合。IT组织必须协调不同的数据定义和模型，并且必须设置流程以确保各种实体的一致性。数据治理框架在管理合并或收购的组织和技术复杂性以及加速积极的业务结果方面具有重要价值。

B.伙伴合作及外包

另一个广泛的市场趋势是越来越多地使用合作伙伴和外包商来管理部分价值链。

组织正专注于核心竞争力，而将非核心功能和流程交给合作伙伴和外包供应商。例如:

•高科技设备公司依靠合同制造商进行生产。

•制造商转向第三方专业公司进行物流和仓储管理。

•制药公司依赖于第三方管理公司临床试验。

•IT部门外包应用开发和网络管理。

•人力资源组织外包工资或福利管理等管理功能。

随着业务流程和IT系统转移到外部提供者，与这些流程和系统相关的数据将迁移到组织边界之外。组织必须确保数据正确地迁移到外部提供者。数据必须是完整和准确的，并且必须对其进行重构，以便在第三方系统中工作。需要注意的是，尽管这些数据已经转移到第三方，但它们仍然是组织的核心资产。即使它们位于防火墙之外，组织也不能放弃对这些数据的可见性和控制。一个健壮的数据治理框架对于管理扩展价值链中分散的数据至关重要，尤其是在定义与外部合作伙伴和外包商交互和协作的标准和流程方面。

五、数据治理框架

A. 数据六个关键属性

通过研究在组织中反复出现的挑战，企业数据必须具有以下六个属性:

•可访问性:确保所有企业数据都可以访问，无论其来源或结构如何。

•可用性:确保数据对用户和应用程序可用，何时、何地以及如何需要。

•质量:确保数据的完整性、准确性和完整性。

•一致性:确保数据含义在所有系统、流程和组织单元之间是一致和协调的。

•可审计性:确保有对数据的控制和审核跟踪。

•安全性:确保数据的安全访问。

数据治理管理和提高这些关键数据属性，提高数据作为组织资产的整体价值。

B.数据治理的四个组成部分

为了确保企业数据满足上述所有属性——可访问、可用性、高质量、一致性、可审计和安全性，有效的数据治理框架包括四个关键组成部分:

•标准:数据治理的一个关键功能是为企业中的数据建立标准。公司需要建立数据定义和分类，定义主数据，开发企业数据模型，实施与数据相关的开发和技术标准。

•制度和流程:围绕数据的创建、开发、控制、管理和审计建立和执行政策和过程是有效数据治理实践的基础。公司需要定义数据和数据相关的业务规则，控制对数据的访问和交付，建立持续的监视和度量机制，并管理数据的更改。

•组织:可以说，公司在启动数据治理计划时必须解决的最重要问题是如何设计组织结构。公司需要定义组织内负责数据的角色和职责。组织可能包括不同级别的几个不同角色，包括业务和IT人员——从执行委员会到日常实现者，比如数据管理员和数据分析师。如果数据治理计划要取得成功，培训和组织变革管理问题也是至关重要的。

•技术:假设公司可以在没有底层技术基础设施的情况下开展数据治理活动。事实上，许多组织使用手动工具(电子表格、Visio和Word文档)启动了他们最初的数据治理程序，以捕获数据定义和文档过程。然而，大多数人很快就意识到这种手动方法的局限性。很难确保高数据质量和可用性，由于这种方法的临时性质，安全性面临风险，维护详细的文档几乎是一项不可克服的困难。实际上，使用手动方法几乎不可能实现数据治理的最终目标。技术可以帮助自动化和扩展数据治理标准、策略和流程的开发和实施。具体来说，提供访问、清理、转换、交付和监视数据的内置功能的数据集成技术平台是数据治理的理想选择。正如业务流程管理解决方案有助于简化业务流程一样，数据集成平台有助于自动化数据相关的流程。

下图显示了有效数据治理框架的构建块。这样的框架考虑了标准、制度和流程、组织结构和技术基础设施，这些都是在整个企业中实现数据的高质量、一致性、可审计、安全性、可访问和可用性所必需的。

 

六、数据治理的组织问题和技术方法

下面我们深入地研究四个数据治理组件中的两个——组织和技术。

A.组织成功因素

组织是数据治理最重要的方面之一。为了实现数据治理的目标，必须分配数据的所有权，必须定义标准，必须执行政策——所有这些都可能引发棘手的部门冲突和数据所有权属问题。

我们不试图提出一个理想的组织结构来实现或支持数据治理。然而，某些组织原则在拥有成功治理计划的公司之间是一致的:

•明确角色和职责的定义:任何类型的治理项目，无论公司、IT或数据治理的基本要求是明确的角色和职责。公司需要严格定义角色，并将特定的责任分配给参与数据治理的个人，以加强责任。

•业务和IT参与:成功实施数据治理计划的公司的一个共同因素是，业务线和IT部门的高管和员工都参与其中。在大多数情况下，业务承担数据的所有权，并在驱动数据治理方面发挥主导作用。这是合适的，因为数据的存在最终是为了服务于业务，而业务是有效数据治理的主要受益者。然后IT部门与业务部门合作，实现数据治理程序的技术方面。IT和业务部门协作建立与数据治理程序相关的特定业务指标，并随时间跟踪它们。可证明的业务利益对于数据治理计划的成功至关重要，它提高了整个组织中对该计划的可见性和支持。

•高管的支持:作为上述原则的推论，成功的数据治理项目是由高级业务主管支持的。高级主管必须认识到数据治理程序在将数据作为资产管理方面的价值，并且能够将该程序与特定的、具体的业务目标联系起来。许多组织建立一个跨职能的数据治理委员会,包括业务和IT管理人员代表各种业务和组织单位以及职能。

•数据治理办公室:成功的数据治理活动经常涉及创建一个集成能力中心或数据治理办公室,支持数据集成技术,支撑数据治理。数据治理办公室是一种组织方法，旨在通过促进重用、共享最佳实践和资源以及为集成建立公共流程和标准来提高敏捷性并降低实现成本。数据治理办公室成为整个组织的共享资源，定义关于数据集成和数据治理的技术标准和流程，并提供可以支持特定项目和计划实现的高技能技术资源池。

B.技术成功因素

通过自动化数据集成生命周期，数据集成技术基础设施有助于实现数据治理的目标。数据集成不是线性的、一次性的。数据集成是一个持续的、迭代的过程，它不断地寻求改进关键数据属性，如质量和可用性。因此，在考虑数据集成技术时，组织需要采取全面的方法。

数据集成生命周期有七个关键步骤，如下图所示:

•访问:访问所有数据，无论其来源或结构。这包括从大型机系统、关系数据库、应用程序、XML、消息甚至电子表格等文档中提取数据。

•发现:对文档记录不充分的数据源或未知数据源进行分析，以了解其内容和结构，推断数据中隐含的模式和规则，并标记潜在的质量问题和数据问题。

•清洁;数据被清理以确保其质量、准确性、正确性和完整性。这可能包括解决错误或遗漏，强制遵守数据标准，验证值，并消除重复的数据条目。

•集成:为了在所有系统中维护一致的数据视图，将数据集成起来，将碎片化的信息聚集在一起，并进行转换，以协调不同系统如何定义和结构各种数据元素的差异。例如，市场营销和财务系统可能不仅对“客户盈利能力”数据元素有不同的格式;他们可能对“客户盈利能力”有完全不同的业务定义，必须解决这个问题。

•交付:正确的数据在正确的时间以正确的形式交付给所有需要它们的应用程序和用户。从交付单个数据元素或记录到支持实时业务操作，到交付数百万条记录以支持趋势分析和企业报告。交付还包括确保数据在交付时既高可用性又安全。

•开发和管理:高生产率的工具集使数据管理员、业务分析师、架构师和开发人员能够在数据集成规则和流程的实现和管理上进行协作，跨越上述步骤1到5。它还确保了运行关键任务企业系统所需的可靠性、可伸缩性和性能。

•审计、监控、报表:对数据进行监控，并生成报表。这包括持续测量关键指标，如数据质量，着眼于随着时间的推移稳步改进。目标是跟踪关键数据属性的进展，并标记任何新问题，以便将它们反馈到数据集成生命周期中，以便解决和持续改进。这个步骤还包括审计，维护数据的健壮审计跟踪有助于保持可见性和控制，以及降低未来更改的成本。

 

通过对数据集成采用生命周期方法，数据集成平台的技术能力被作为正在进行的数据治理计划的一部分，其目标是持续改进关键数据度量并对其负责。

组织需要从流程和技术的角度整体地处理数据集成生命周期。通常组织使用不同工具的集合以一种渐进的方式来处理生命周期的不同阶段。不同的角色和不同的业务单元可能会选择不同的技术，优化以满足它们自己狭窄的需求。例如，业务分析人员可以使用一个工具来分析和理解现有的数据源。数据架构师可能会选择其他工具来清理数据并提高它们的质量。IT开发人员可能会使用不同的工具来访问和交付数据。最终的结果是一个由不同的、不一致的数据处理方法组成的复杂网络。

竖井式的数据集成方法会迅速破坏数据治理计划，阻止其实现目标和有效扩展。由这些竖井式方法产生的冗余工具和技能集既繁琐又昂贵。但更大的问题是数据和治理过程本身的不一致性。组织需要跨整个企业和跨数据集成生命周期的统一数据处理方法。这种统一的方法在整个组织中系统地实施数据治理策略和流程，也许更重要的是，让他们相信，他们所依赖的数据在制定战略业务决策时是一致和准确的。

七、结论

我们清楚了数据治理的目标、常见业务驱动因素和当前业务趋势，以及关键数据属性和有效数据治理实践的组成部分时，这项工作还没有完成，还需要采取进一步的行动。

第一步是确定组织的关键业务目标，了解相关的数据需求，并审查作为实现这些目标的当前或潜在未来障碍的数据挑战。用户访问或查找数据有困难吗？他们是否拥有决策所需的数据？不同职能部门和业务部门的数据是否一致？数据的有效性是否可以证明？如果存在数据挑战，则应记录问题的程度以及对业务的估计影响。这些信息可以为投资数据治理计划提供理由。

第二步是选择一个关键业务计划作为重点。这项计划应该是一项面临重大数据挑战的计划，但预计也会对业务产生明显影响。与此业务计划相关的数据治理试点项目将增加业务计划成功的可能性，同时也将证明数据治理计划的业务价值。该试点项目也是一个很好的机会，可以在企业和IT团队之间建立强大的合作关系，并获得管理层的支持。

第三步是评估现有的数据集成技术基础架构及其支持数据治理实践的能力。该技术必须解决并增强所有六个关键数据属性——可访问性、可用性、质量、一致性、可审计性和安全性。为了在整个组织内以可扩展且一致的方式支持数据治理计划，组织需要一个单一、统一的企业数据集成平台，该平台提供：

•广泛访问所有企业数据，无论其类型、结构或来源如何。

•一个开放的、平台无关的体系结构，专为不断变化的IT环境而设计。

•单一、统一的体系结构，以简化和加速整个数据集成生命周期。

•企业级安全性、可扩展性、可靠性和可用性。

•基于共享、可重用组件和服务的方法，以实现透明性、互操作性、协调性和灵活性。

如果现有的技术基础设施不能确保企业数据满足六个关键属性，不支持数据治理实践，则试点项目是开始实施新的、可扩展的、更健壮的和可靠的数据集成技术基础的好机会。