快捷登录

华为数据治理方法论及最佳实践

只看大图  / 正序浏览   © 文章版权由 admin 解释,禁止匿名转载

作者:admin 2024-8-28 09:49:13
跳转到指定楼层
一. 数据治理框架

640.webp.png

数据治理主要专注于如下模块域:

数据集成数据集成用来完成数据入湖动作,不是简单的数据搬家,而是按照一定的方法论进行数据备份。数据入湖的前提条件是满足6项数据标准,包括:明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。此标准由数据代表在入湖前完成梳理并在数据治理平台上进行资产注册。

数据标准数据标准管理着重建立统一的数据语言,L1到L5数据层级业务对象的定义是数据标准的载体,并对应发布包括L1到L5数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。

数据质量数据质量管理的目标在于保证数据满足使用的要求。数据标准是衡量数据质量最基本的基准。数据质量要求各业务部门对相应数据领域的数据质量全权负责,按业务需求设计数据质量标准,制定数据质量管控目标,并遵循企业数据治理要求进行数据质量度量,制定符合各自业务情况的数据质量政策及数据质量相关的改进计划,持续进行数据质量管控。

数据服务数据服务通过在整个企业范围统一数据服务设计和实现的规范并进行数据服务生命周期管理,集约管理数据服务并减少数据调用和集成的开发成本。

主数据主数据管理是数据标准落地和提升数据质量的重要手段,是企业级数据治理的重要范畴,其目标在于保证在企业范围内重要业务实体数据的一致(定义和实际物理数据的一致)。主数据管理首先进行企业主数据的识别,然后对已识别主数据按照主数据规范要求进行数据治理和IT改造,以支撑企业业务流和工具链的打通和串联。

管理中心数据治理的开展离不开组织、流程和政策的建设,管理中心也管理着数据治理过程中公共核心的统一数据源、数据驾驶舱等,满足不同角色的用户拥有个性化的工作台。

数据治理主要模块域之间的关系如下图所示:

图1: 数据治理各模块之间的关系
640.webp (1).png
数据标准为数据开发和设计工作提供核心参考,同时也通过数据开发实现数据标准化落地。数据标准为数据应用提供“一致的语言”;数据标准为主数据管理提供主数据定义的基准,数据标准也是数据质量管理策略设计、数据质量规则制定的核心依据;数据标准所定义的密级分类和责任主体,为数据安全管理提供依据;数据标准也是数据资产管理重要输入。

主数据管理通过数据开发实现核心数据的一致性地记录、更新和维护,是数据质量提升的重要手段。主数据管理保障了数据应用和运营过程中核心数据的存在和一致性。

数据质量管理是数据应用和运营过程中数据准确性、一致性、完整性、及时性、唯一性、有效性的重要保障,是数据业务价值创造的重要前提。

数据资产管理模块完成元数据的采集和注册,数据资产管理为数据应用和数据消费提供了解数据的窗口。

数据服务管控实现在数据服务开发过程中服务标准、规范、要求和管理的落实,数据服务打通数据应用和数据消费的物理通道。

数据安全在数据开发过程中完成数据安全的IT实现,以达成数据应用过程中安全管理规范的要求。

以上工作的有效开展,离不开组织管理、明确的责任人、考核体系、流程制度、数据治理政策和数据治理平台的支撑。

图2: DataArts Studio各模块之间的示意图

640.webp.png
二. 数据治理组织框架
数据治理可以采用集中化(全时投入)和虚拟化(部分投入)混合的组织模式。结合具备专业技能的专职数据治理人员和熟悉业务和IT系统的已有人员,在运作上实现数据治理团队的快速构建和能力导入,捆绑业务、IT开发和数据团队并利用已有人员熟悉度快速切入重点工作。

在工作内容和责任上具体到三层的工作组织:
640.webp.png
在战略层面,由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持。

数据治理委员会和各领域数据治理工作组是数据治理战略在运作层面具体的实施团队。其中:

数据治理委员会:由数据治理负责人、数据治理专家和数据架构专家团组成,面向企业进行数据治理工作的统筹并提供工作指导,在整个企业范围定期沟通数据治理工作,形成数据质量精细化管控文化。根据数据治理领导组的愿景和长期目标,建立和管理数据治理流程、阶段目标和计划,设计和维护数据治理方法、总则、工具和平台,协助各数据领域工作组实施数据治理工作,对整体数据治理工作进行度量和汇报,并对跨领域的数据治理问题和争议进行解决和决策。

各领域数据治理工作组:在各领域数据范围内进行数据治理的工作,依据数据治理委员会制定的数据治理方法和总则,制定本领域数据治理目标和工作计划,负责领域数据资产的看护,维护更新相应数据标准和及相关元数据,设计本领域数据度量和规则,监控收集数据质量问题并持续改进提升,主动升级数据相关问题。最终完成领域内数据资产的看护,并支撑数据治理目标的达成。

领域数据治理工作组由数据Owner、数据代表、数据管家、数据专员和数据架构师组成。其中:

数据Owner (Data Owners):数据Owner是领域数据治理工作的责任人。
制定本领域数据治理的目标,工作计划和执行优先级。

建立数据治理责任机制,将本领域的数据治理工作分解到工作组成员,并跟进及管理工作组工作。

设计数据质量规格,承接数据需求,对数据问题及争议进行裁决。

建设和维护本领域信息架构。

建立和推动领域数据文化和氛围。

数据代表 (Data Representatives):数据代表是领域数据治理工作的专家带头人。

深刻理解数据工作的目标、方法、规则、工具,并通过识别关键业务流程和IT系统,对本领域数据治理的路标和工作计划进行细化并排序,最终管理执行。

作为本领域数据治理专家,管理并解决问题和争议,必要时提交数据Owner进行裁决。

对业务环节数据的完整性、及时性、准确性、一致性、唯一性、有效性负责,确保行为即记录,记录即数据,并依据数据质量规格对本领域数据进行度量和报告。

落实本领域信息架构的建设和遵从,负责本领域数据资产的看护,维护相应数据标准和数据目录并更新发布。

承接上下游数据需求,并主动根据领域内应用场景和业务需求识别数据需求,对需求的实现进行推动和管理。
依据相关规定定义本领域数据安全等级,并进行数据授权管理。

数据管家 (Data Stewards):
数据管家是领域数据治理工作的协助者。确保领域治理工作的流程和内容规范,符合数据治理要求、协助数据代表进行问题跟踪和解决、梳理、维护并更新领域数据元数据(业务对象、数据标准、数据模型)、推广和维护数据治理工具和平台在本领域的应用。

数据专员 (Data Specialists):数据专员是领域数据治理工作的专家团队。基于本领域数据治理的工作计划,利用数据专项技能,支撑数据代表完成数据Owner分配的各类数据治理工作。

数据架构师 (Data Architects):数据架构师是领域数据治理工作在IT层面的代表。开发和维护本领域的数据系统或子系统,确保数据在系统中得以记录,数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。提供数据系统的数据相关信息(元数据、数据字典、数据血缘)。协助执行IT相关的数据治理工作。确保数据系统的技术方案符合本领域的信息架构,技术选择能够满足数据发展中长期的需求。

三. 数据治理度量评论体系

3.1 数据治理实施方法论

数据治理实施方法论按照数据治理成熟度评估->评估现状、确定目标、分析差距->计划制定、计划执行->持续监测度量演进的关键实施方法形成数据治理实施闭环流程。图3 : 数据治理实施方法论
640.webp.png
这也遵循了PDCA(Plan-Do-Check-Action)循环的科学程序,结合数据治理工作的特点设计了两个层面的度量评估:

度量评估工具度量评估对象度量评估方法度量评估频次
数据治理成熟度评估企业整体调查问卷年度
数据治理评分卡各业务及IT部门数据治理工作组与各业务及IT部门共同打分季度
两个层面的数据治理度量评估工具

通过年度的整体数据治理成熟度评估,了解各维度数据治理现状,并制定可操作性目标,分析差距,制定切实可行的计划,在推进落实计划的过程中,利用季度性实施的数据治理评分卡,针对性地监测度量各业务/IT部门的数据治理情况,持续推进各部门的数据治理水平提升,进而提高整体数据治理成熟度。
年度进行的整体数据治理成熟度评估,可以结合主观及客观调查度量,综合反映企业当前数据治理成熟度水平,帮助制定切实可行的数据治理整体目标。季度性实施的数据治理评分卡是一个重要的工具手段,从一些关键核心维度进行季度性迭代评分,持续促进所有部门数据治理工作的落实提升。
3.2 数据治理度量维度

数据治理成熟度评估使用调查问卷方式,包括11个治理模块,60多个调查问卷事项,全方面多维度度量了数据治理工作的水平。
数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动促进各部门的数据治理工作,改进数据质量,提升数据治理水平。
图4: 数据治理评分卡

640.webp (1).png
3.3 数据治理度量评分规则
数据治理成熟度评估分5个级别:

级别1是最低级别,数据治理处于初始级别,空白状态,没有相关流程及数据治理管控。

级别2是开始管理级别,仍处于匮乏状态,没有形成正式一致的数据治理方法。

级别3是明确定义级别,处于可改进状态,已经形成了主动治理的流程和正式一致的数据治理方法。

级别4是量化管理级别,已经步入适宜匹配状态,贯穿组织采用的正式一致的数据治理方法都是可量化管控的。

级别5是最高级别,专注于持续优化提升,已经步入卓越状态。

图5: 数据治理成熟度级别分层

640.webp.png

数据治理评分卡对各维度度量是按5分制进行评分,每一个度量细项只有得分0或得分1,如果满足度量细项要求得分1,否则得分0。
图6: 数据治理评分卡数据执行维度度量评分计算范例

640.webp (1).png

如上示例,针对流程7.10交付项目管理,数据执行维度有6个度量细项,则这一度量维度的总体得分就是SUM(度量细项得分)*5/6。所以这一度量维度的实际得分就是(1+1+1+0+0+1)*5/6=3.3。
640.png

(以上内容摘录自网络,如有侵权请联系删除)
640.webp.png
分享:

成为第一个回答人

高级模式 评论
您需要登录后才可以回帖 登录 | 立即注册