本书提供了关于如何在数据治理中建立和运行数据认责工作的适用且可操作的信息和说明，旨在为新任数据专员或数据治理经理提供在数据认责方面所需的知识，以确保其工作有效和高效。本书分为11章，包括：数据认责和数据治理：二者如何结合；了解数据认责的类型；认责管理的角色和职责；实施数据认责；培训业务型数据专员；数据认责实践；数据专员的重要角色；衡量数据认责进度：指标；数据认责成熟度评估；大数据和数据湖认责；基于数据域开展数据治理和认责。
本书内容丰富，理论和实践相结合，易读性和可操作性强，可以作为数据质量管理的入门和进阶用书，还可作为数据治理、信息技术、数据分析等领域人员的参考用书，尤其适合对数据认责感兴趣的读者和负责组织以及运行数据认责工作的人员阅读。
关于作者
30多年前，大卫?普罗特金（David Plotkin）在一家大型石油公司工作了15年后，从化学工程领域转型到了数据管理领域。之后，他一直从事数据建模、元数据、数据管理、数据质量和数据治理方面的工作。他的大部分职业生涯都在金融服务和保险领域，但他也花了3年时间担任企业信息管理的顾问，指导客户公司规划和实施数据治理—数据治理既是一项独立的工作，也是数据质量改进和主数据管理等其他举措的一部分。他在一家保险公司负责实施数据治理，指导另一家保险企业开展全球数据认责，还曾在一家大型银行管理运营数据治理能力中心，负责两家大型银行的数据质量改进工作。他在管理数据治理项目和数据质量商业工具的使用上拥有丰富的经验。
除了本书之外，他还编写并发表了一个关于“数据认责完整指南”的系列教程，该教程提供了广泛而详细的培训内容，目的是使数据认责工作在各种不同类型的企业中取得成功。
他是DAMA协会和多个专业峰会上备受欢迎的演讲者，也是与元数据、数据治理和数据质量相关的许多主题的主题专家。
国内一线数据管理领域专家共同翻译，从企业专岗管理数据的角度介绍如何做好数据质量管理工作，有较强指导性。
绪论
概述
当前，企业越来越重视数据管理，包括提高数据质量、理解数据的含义、利用数据获得竞争优势以及将数据视为企业应有的资产。但要做好数据管理工作，就需要责任制，也就是说，业务职能必须对其拥有和使用的数据负责。通过适当的架构、组织和资源来管理数据，被称为数据治理。数据认责是在数据治理体系之内的。各种类型的数据专员（在本书后面详细介绍）与其他主题专家和利益相关者密切合作，以实现数据治理工作制定的目标和交付成果。数据认责工作应由数据治理办公室管理和协调，并应得到公司高级领导的支持。本书提供了关于如何在数据治理中建立和运行数据认责工作的适用且可操作的信息和说明。本书旨在为新任数据专员或数据治理经理提供在数据认责方面所需的知识，以确保其工作有效和高效。本书还提供了承担数据专员职责的人员所需的详细信息。
问题陈述
使用数据过程中一定会面临挑战，包括：
?? 数据无法解释自身。必须有人对数据进行解释，包括数据的含义、如何正确使用数据以及如何评估数据质量是否良好。
?? 数据被许多人共享和使用，用于许多不同的目的。那么，谁拥有它？当数据出现“错误”时，谁对此做出决定并负责？
?? 许多使用数据的流程都依赖于流程上游的人员对数据的“正确处理”，但谁来说什么是“正确”？当“出错”的时候，是由谁来判定？
?? 软件开发生命周期需要在需求、分析、设计、构建和数据使用之间进行多次切换。在很多场合，切换可能会破坏数据并危及数据质量。
?? 负责数据实现的技术人员不熟悉数据的含义或如何使用数据。
?? 我们这些数据圈的人在容忍歧义方面有着悠久的历史和习惯，无论是在数据含义还是在数据内容方面。
所有这些因素都会导致人们对数据的理解不足，并导致人们认为数据质量差。这些因素还导致数据管理不善。
解决这些挑战的办法是积极有效地管理数据。但许多公司用来汇集元数据的相当随意的“方法论”并不是真实或有效的数据管理。一些失败的方法包括：
?? 数据定义。这些定义通常是由项目工作人员匆忙编写的，并且定义在整个企业中没有合理化，导致同一术语的多个定义，通常使用不同的业务数据元素名称。
?? 数据质量。通常没有制定明确的数据质量规则，也很少衡量质量本身。即使明确了规则，规则的上下文背景（规则适用的数据用途）也经常被忽略。所有这些都会导致人们对所需的数据质量以及所实现的数据质量感到困惑。
?? 文档。包含元数据的文档很少被正式发布，而且经常丢失、藏在书架上或存档文件中。该文档知者甚少且不易获得，也没有一个强大的搜索引擎来让感兴趣的用户找到他们需要的东西。
?? 创建和使用业务规则。通常对可以或应该创建实体（如客户或产品）的条件以及应该如何使用数据缺乏了解。这种缺乏了解的情况导致收集到的关于该实体的信息不完整或不准确，以及数据被用于并未设想过的目的。最终的结果是，基于数据的业务决策可能会导致非最优结果。
作为数据治理工作的一部分，数据认责对于企业管理数据和实现解决方案以应对以上挑战至关重要。通过数据认责，组织可以开始将数据视为资产。与其他资产一样，数据需要被盘点、拥有、明智地使用、管理和理解。这需要使用与物理资产不同的数据技术，但需求是相同的。对于数据资产，通常结合元数据存储库，以正式发布的业务术语表的形式来盘点及理解数据。
建立所有权需要了解数据是如何收集的以及谁使用数据，然后确定谁最能对数据元素的内容和质量负责。最后，确保数据得到合理的使用意味着了解和管理数据是如何创建的，创建数据的目的是什么，以及它是否适合在可能出现的新情况下使用，甚至是否适合在当前使用的情况下使用。
数据专员在数据管理中的职责
已被正确管理的数据使企业能够在较少的失误和更少浪费人力物力的情况下获得成功。业务型数据专员在数据管理工作中发挥着重要作用，他们决定了以下内容。
（1）在数据仓库中
?? 需要什么维度以及它们的含义。
?? 需要什么事实以及它们所依赖的维度。
?? 如何定义事实以及派生规则和聚合规则。
?? 统一维度或事实提出的不同术语（实际上是相同的）。
?? 谁必须对构成维度和事实的数据元素负责。
?? 如何转换数据以及在数据仓库中使用它。
（2）在主数据管理中
?? 应管理哪些数据实体（客户、产品、供应商等），以何种优先级管理，以及这些实体的含义（例如，什么是客户？）。
?? 需要哪些特征属性（具有良好的质量）来实现实体解析。
?? 确定实体唯一性的敏感度是什么（对假阳性和假阴性的敏感度）。
?? 枚举属性的适当参考数据值是什么，以及如何从可用数据中导出这些值。
（3）在数据质量改进方面
?? 既定的目标需要什么样的数据质量等级。
?? 应该对哪些数据进行剖析以严格检查这些值。
?? 什么构成数据的“期望”值。这些期望可以包括范围、特定值、数据类型、数据分布、模式和关系。
?? 导致数据质量差的根本原因有哪些。
?? 为了解决根本原因和/或清洗数据，必须将哪些要求给到IT部门。
（4）在系统开发中，数据专员作为关键的角色来确保以下几方面
?? 系统使用的数据定义是完善的，并且业务定义和业务规则符合企业标准。如果定义或规则缺失、质量低下，业务型数据专员需协助提供较高质量的业务定义和规则。
?? 这些数据模型符合企业标准和项目要求。
?? 将数据作为资产进行管理的要求不会因为项目进度而被忽视。
（5）数据湖中的“大数据”管理
?? 数据的含义是什么。
?? 数据被摄取的优先级和顺序，以及数据必须满足的业务需求。
?? 每个区域适当级别的数据治理和数据认责。
?? 满足业务需求所需的数据转换。
本书详细讨论了这些主题以及数据专员所扮演的角色。
本书涵盖内容
本书分为11章，每章都聚焦在数据认责的一个方面。
?? 第1章 数据认责和数据治理：二者如何结合。本章讨论了数据治理项目的交付成果、项目参与者（包括数据专员）的角色和责任，以及数据专员如何融入数据治理项目。
?? 第2章 了解数据认责的类型。本章介绍了每种类型的数据专员，讨论了该角色所需的人员类型，以及如何选择和指派各种类型的数据专员。
?? 第3章 认责管理的角色和职责。本章详细列出了每种类型的数据专员的职责，描述了这些专员如何在数据认责专委会中合作，以及代表数据治理管理认责工作的企业级数据专员的角色。
?? 第4章 实施数据认责。本章介绍了如何启动数据认责工作，描述了如何获得支持，确定组织的结构，确定所需的数据专员类型，厘清信息在组织中的流动方式，确定已经拥有的文档，并决定需要什么工具和已经拥有什么工具。本章还介绍了如何确定哪些元数据已经可用，例如，有效的值列表和数据质量规则。
?? 第5章 培训业务型数据专员。本章讨论了如何培训业务型数据专员，因为大多数被选中担任该职位的人员都不知道如何履行职责，讨论了课程规划、各类培训以及数据专员需要学习的工具。本章还提供了如何充分利用培训工作的指导方针。
?? 第6章 数据认责实践。本章描述了数据认责的主要任务和职责的实践层面。其中包括识别关键业务数据元素和收集有关这些元素的元数据，确定所有权，以及使用问题日志和可重复的流程处理日常问题。还讨论了不同类型的专员如何合作，以及会议时间表和工作组等后勤问题。本章还介绍了基本工具。
?? 第7章 数据专员的重要角色。数据专员在所有数据管理活动中都发挥着极其重要的作用，在某些领域发挥着特别关键的作用。本章描述了数据专员如何为提高数据质量、提高元数据质量、管理参考数据、确定特征属性（用于实体解析）以及主数据管理的其他方面做出贡献，包括信息安全管理、元数据管理、支持质量保证、编制数据血缘、管理过程风险，以及支持数据合规管理（对于新隐私法规的合规管理已经越来越普遍）。
?? 第8章 衡量数据认责进度：指标。数据认责工程需要资源和精力。本章展示了如何在两个主要领域识别和衡量从这些努力中获得的结果：业务成效指标（衡量支持数据行动计划的有效性）和运营指标（衡量对行动计划的接受程度和数据专员的表现）。
?? 第9章 数据认责成熟度评估。数据认责工作可以随着深入开展而逐渐提高成熟度。本章描述了一个具有多个级别和维度的成熟度模型。该模型可以帮助您评估自己的成熟度，并确定一个完善的数据认责项目应该是什么样子。它还讨论了如何使用衡量成熟度的结果来弥补工作中的差距。
?? 第10章 大数据和数据湖认责。“大数据”（通常存储在数据湖中）需要在数据认责方法上有一些差异，尽管这些差异并不像许多人想象的那么大。本章解释了数据专员如何与在体量及速度上都在不断增长的数据进行交互，以及数据认责的重要性如何随着数据湖中的大量复杂转换而增加。还讨论了控制数据治理的程度，这是与数据湖灵活性之间的适当平衡。
?? 第11章 基于数据域开展数据治理和认责。越来越多的公司正在从基于业务职能的数据认责（表现为数据拥有方来自产生关键业务数据元素或受到关键业务数据元素严重影响的业务职能）迁移到基于数据域的数据认责（表现为数据被分组到由业务型数据专员小组管理的“数据域”中）。本章详细介绍了如何为数据确定正确的数据域，使用一组业务型数据专员和其他角色来一起管理数据，以及企业在转型过程中面临的挑战。
?? 附录A 定义和派生规则示例。本附录提供了一个业务数据元素的完善定义和派生规则示例。
?? 附录B 培训计划大纲范例。本附录提供了技术型数据专员和项目经理的培训计划。其他培训计划见第5章培训业务型数据专员。
?? 附录C 用于命名业务数据元素的类词。本附录提供了一个“类词”列表，这些词汇用于业务数据元素名称的末尾，以指示业务数据元素表示的数据类型。
本书未涵盖内容
尽管本书讨论了数据认责如何融入数据治理，但它并没有针对如何建立和运行更广泛的数据治理工作提供所需的所有信息。为此，本书提供了参考资料。
谁需要本书
本书是为任何对数据认责感兴趣的人设计的。对于负责组织和运行数据认责工作的人来说，本书十分有用，因为它是基于很多人的实际经验总结提炼出来的。本书对那些即将成为业务型数据专员的人也很有用，因为它描述了对这些人的期望，提供了技巧和窍门，并详细说明了这个角色如何为公司和该角色代表的业务职能增加价值。最后，本书将对那些负责支持数据认责和数据治理的人（包括高管）很有帮助，因为它描述了应该发生的事情以及如何衡量进展和成熟度。
目录
本书翻译组
关于作者
致谢
绪论 1
第1章 数据认责和数据治理：二者如何结合 6
1.1 什么是数据治理 6
1.2 驱动数据治理的一些最佳实践 7
1.3 什么是数据认责 7
1.4 数据认责的总体目标 8
1.5 将数据转变至受控状态 9
1.6 三个P：政策、流程和规程 11
1.7 数据认责如何与数据治理相结合 12
1.7.1 高层领导小组 13
1.7.2 数据治理委员会 15
1.7.3 数据认责专委会 18
1.7.4 通过技术型数据专员提供IT支持 18
1.7.5 数据治理办公室 19
1.8 整体数据治理组织 20
1.9 小结 21
第2章 了解数据认责的类型 22
2.1 业务型数据专员 23
2.1.1 选择合适的业务型数据专员 23
2.1.2 成功的业务型数据专员所具备的特征 24
2.1.3 业务型数据专员与数据 25
2.1.4 业务型数据专员的关键角色 27
2.2 技术型数据专员 28
2.3 项目型数据专员 29
2.4 操作型数据专员 30
2.5 小结 30
第3章 认责管理的角色与职责 31
3.1 数据认责专委会 31
3.1.1 什么是数据认责专委会 31
3.1.2 数据认责专委会成员 31
3.1.3 数据认责专委会职责 33
3.2 数据治理经理 35
3.3 企业级数据专员 35
3.4 业务型数据专员 37
3.5 项目型数据专员 41
3.6 技术型数据专员 44
3.7 操作型数据专员 44
3.8 数据认责RACI职能矩阵 46
3.9 小结 47
第4章 实施数据认责 48
4.1 倡导与沟通数据认责 49
4.1.1 数据认责沟通信息 49
4.1.2 准备数据认责沟通 51
4.2 获取高层与基层的支持 52
4.3 加强对组织的理解 53
4.3.1 组织架构 53
4.3.2 组织文化 57
4.4 组织数据专员 58
4.5 厘清出发点 59
4.5.1 厘清已拥有什么：数据 59
4.5.2 厘清已拥有什么：元数据 61
4.5.3 厘清已拥有什么：数据质量 64
4.5.4 厘清已拥有什么：流程 66
4.5.5 厘清已拥有什么：工具 66
4.6 小结 67
第5章 培训业务型数据专员 68
5.1 业务型数据专员培训课程 70
5.2 关键业务数据元素的元数据 71
5.3 数据的使用 71
5.3.1 信息生产者与消费者 72
5.3.2 使用SIPOC了解数据使用 73
5.4 数据认责流程介绍 73
5.5 认责支撑工具 74
5.6 提升数据质量的培训 75
5.7 小结 76
第6章 数据认责实践 77
6.1 基础知识 77
6.1.1 选择关键业务数据元素 78
6.1.2 分配负责的业务型数据专员 80
6.1.3 业务数据元素的命名 81
6.1.4 创建良好的业务定义 82
6.1.5 定义业务数据元素的创建和使用规则 83
6.1.6 定义派生规则 84
6.2 设置可复用流程 84
6.3 界定数据认责制度实施的范围 87
6.4 理解业务型数据专员如何与数据治理办公室互动 88
6.4.1 与数据专员定期举行会议 88
6.4.2 使用互动式讨论组 89
6.4.3 成立工作组 90
6.4.4 项目型数据专员如何与业务型数据专员协作共事 91
6.5 使用问题日志完成日常工作 92
6.5.1 什么是问题日志 92
6.5.2 管理问题日志 92
6.5.3 理解问题日志流程 93
6.6 文件记录和沟通：沟通计划 95
6.6.1 什么是必须沟通的？ 95
6.6.2 沟通计划必须包含什么？ 95
6.6.3 定向沟通的重要性 97
6.7 在项目方法论中增加数据治理工作 98
6.7.1 把数据认责任务增加到项目中的好处 98
6.7.2 为项目提供支持的数据认责角色 98
6.7.3 数据认责任务和模板 99
6.7.4 培训项目经理 101
6.8 构建并遵循数据治理或数据认责路线图 101
6.9 确定数据认责工具 104
6.9.1 数据认责门户 104
6.9.2 数据认责维基百科 106
6.9.3 关键产物：业务术语表 106
6.9.4 使用工作流实现流程自动化 109
6.9.5 元数据存储库 115
6.10 小结 117
第7章 数据专员的重要角色 118
7.1 数据认责在数据质量提升中的角色 118
7.1.1 度量和提升数据质量 118
7.1.2 防止数据质量恶化 119
7.1.3 不同场景下的数据质量提升意味着什么 120
7.1.4 提升数据质量对整体数据认责工作的重要性 121
7.1.5 理解数据质量维度 121
7.1.6 明确数据质量规则 122
7.1.7 支持数据质量与数据剖析的改进 124
7.1.8 加载过程中强化数据质量 126
7.2 数据认责在元数据质量管理中的角色 129
7.2.1 剖析元数据 130
7.2.2 元数据质量维度 131
7.3 数据认责在参考数据管理中的角色 133
7.3.1 参考数据的一般维护 134
7.3.2 跨系统保持参考数据值一致 135
7.4 数据认责在主数据管理实体解析中的角色 138
7.4.1 识别出特征属性 139
7.4.2 查找记录和映射字段 142
7.4.3 标准化数值 143
7.4.4 用外部数据源增强数据 143
7.5 数据认责在主数据管理遴选处理中的角色 144
7.6 数据认责在主数据管理异常处理中的角色 146
7.7 数据认责在信息安全中的角色 148
7.8 数据认责在支持质量保证中的角色 149
7.9 数据认责在编制血缘关系中的角色 150
7.10 数据认责在流程风险管理中的角色 152
7.11 数据认责在数据隐私法规中的角色 153
7.11.1 数据主权法规的关键信条 154
7.11.2 遵守法规 154
7.11.3 捕获其他元数据以实现合规性 155
7.11.4 初步了解数据和流程支持的数据主权法规 155
7.12 小结 157
第8章 衡量数据认责进度：指标 160
8.1 业务成效指标 160
8.2 运营指标 162
8.3 小结 166
第9章 数据认责成熟度评估 167
9.1 设定数据认责成熟度模型：级别和维度 167
9.2 数据认责成熟度级别 167
9.2.1 成熟度级别1：初始级 168
9.2.2 成熟度级别2：策略级 168
9.2.3 成熟度级别3：良好级 168
9.2.4 成熟度级别4：战略级 169
9.2.5 成熟度级别5：优化级 169
9.3 数据认责成熟度维度的各级别要求 169
9.3.1 组织意识 170
9.3.2 角色和架构 170
9.3.3 标准、政策和流程 171
9.3.4 价值创造 172
9.4 收集成熟度模型的评估数据 173
9.5 评估成熟度调查结果 174
9.6 衡量成熟度进展 174
9.7 找准差距和改进提升 177
9.8 小结 178
第10章 大数据和数据湖认责 179
10.1 数据认责和大数据 179
10.2 数据认责和数据湖 180
10.2.1 数据湖和元数据 181
10.2.2 给数据湖确定数据治理的等级 182
10.2.3 在数据湖中创建的元数据 183
10.2.4 治理数据湖的建议角色 184
10.2.5 数据湖和高速数据环境开展数据认责 185
10.3 小结 186
第11章 基于数据域开展数据治理和认责 187
11.1 数据域驱动的数据认责案例 187
11.1.1 数据域驱动的数据治理从何而来？ 188
11.1.2 数据域驱动的数据认责价值 188
11.2 数据域的定义 190
11.3 数据域的主要收益 191
11.4 确定和设置数据域 192
11.4.1 业务主题域 193
11.4.2 业务数据元素 193
11.4.3 授权数据供应点 194
11.5 治理数据域 196
11.5.1 数据域和数据域委员会 196
11.5.2 数据域委员会结构和治理 198
11.5.3 数据域委员会人员配备 199
11.6 数据域驱动的数据治理关键活动 201
11.7 数据域驱动的数据认责需要一个成熟的组织 202
11.8 小结 204
附录 205
附录A 定义及派生规则示例 205
附录B 培训计划大纲范例 205
附录C 用于命名业务数据元素的类词 211
