如何交付落地一个数据治理项目?
人工智能治理专家社群
本社群聚焦如何根据全球新兴法律和标准开发、集成和部署可信AI系统,包括AI技术、全球现行法律标准、全生命周期风险管理及发展趋势等主题。
以下是项目进程图:
01 项目规划阶段
做好项目规划才能较好的做好项目全局掌控。此阶段需要组建项目团队、划分职责权限、确定项目目标及里程碑节点。
1.了解清楚项目背景
了解项目的需求内容,梳理项目背景,可以通过客户的SOW(Statement of Work)工作说明书来了解。
2.组建项目团队
组建团队,确定项目利益相关方:
客户方:哪些人参与项目建设工作,哪些领导重视项目,特别要着重了解客户方的工作方式及一些工作标准。如客户方是否有一些制度上的要求,或者工作内容上是否有一些文档相关的标准。
公司内部:主要是交付人员、研发人员等。
3.项目启动大会
启动大会非常关键,既是动员会,又是分工会。项目启动会的顺利召开为后续项目的顺利推进奠定坚实基础。
一般来说,召开项目启动会议前期要做好以下几项准备工作:
1) 对企业现状和信息化建设有基本了解。
2) 完成关键部门初步需求调研。
3) 组建项目团队,明确组织机构、人员的配置、项目的组织资源管理等。
4) 制定项目工作章程,对实施范围、策略、规范及标准达成共识。
5) 制定项目计划,明确实施内容、时间进度等。
6) 准备项目启动会议议程和各种会议材料。
02 蓝图设计阶段
在方案输出之前,要摸清楚需求、背景、可投入资源等,最好要具体到业务、数据、技术等层面的需求。
1.需求调研及分析
针对项目所涉及的系统和业务进行充分的需求调研。调研方案如下:
调研目标 :充分了解企业在数据管理、数据分类、数据标准等方面的现状以及需求痛点。
调研部门 :集团本部业务部门及其分子公司的业务部门
调研方式 :问卷调研、现场访谈
调研计划 :包含时间、地点、人员、联系方式、调研对象
调研产出物 :《××部门访谈记录》、 《××集团主数据调研报告》……
△需求调研细节示例
2.确定实施方案
整理人力域、采购域等数据域调研成果,结合各产品线和业务线提供的资料,形成数据治理需求分析文档并与客户进行确认,制定数据治理实施路线图。
03 数据治理实施
数据治理平台是基础,管理是保障。需要推进数据治理委员会的建立,明确责权分配,同时基于平台为相关制度标准提供落地支撑,如周期性输出数据质量分析报告等。数据治理体系建设和平台建设实现两条腿走路。
(一)管理体系建设
对标业界主流数据管理成熟度评估模型,开展差异化分析,查缺补漏完善数据管理体系。包括数据管理组织、数据管理制度、数据管理流程、数据管理考核等。
1.数据管理组织
数据管理组织需要建立职能明确的数据管理机构,落实各级部门的职责。包括决策层,由企业高层组成,主要负责确定管理目标,决策数据管理的制度、流程、职责等核心问题的处理;管理层由数据管理中心、专项数据管理组和专家团队构成,负责落实管控;执行层由具体管理和使用数据的单位和部门构成,负责具体实施推进。
有效的组织机构是项目成功的有力保证,为了达到项目预期目标,在项目开始之前对于组织机构及其责任分工做出规划是非常必要的,数据治理项目管理组织建议采用如下图所示的组织结构:
数据治理委员会由校领导和部门负责人组成。委员会定义数据治理愿景和目标;组织内跨业务部门和 IT部门进行协调;设置数据治理计划的总体方向;在发生策略分歧时进行协调。
数据治理工作组是组织内委员会下面的下一个级别。工作组执行数据治理计划。工作组负责监督数据管理员工作。数据治理工作组由数据治理委员会中各相关部门负责人主持。
每个业务部门有至少一位业务分析员,信息部门设置数据质量分析员、数据管理员、集成开发人员。各工作人员负责本部门数据的质量,履行职责,解决具体的问题。
根据数据管理工作的实际需要,在业务管理部门、技术管理部门和业务应用部门确定各工作人员的职责。
数据治理委员会的职责范围:
1.从战略角度来统筹和规划,对数据资产和系统进行清理,确定数据治理的范围;明确数据源的出处、使用和管理的流程及职责;
数据治理工作小组,其主要工作职责是:
1.负责数据治理的牵头,组织、指导和协调学校的数据治理工作;
工作组成员:业务分析员、数据质量分析员、数据管理员、集成开发人员。这些不同的角色在数据治理过程中承担着彼此不同,而又相辅相成的职责。
其中集成开发人员在数据治理流程中需要担负起数据访问、验证数据结构、验证数据、交付数据以及数据库/知识库的构建等角色,因此他们的工作包括:
访问及交付相应数据给业务用户 提高数据处理的性能 最大化减少异常/出错的影响 开发和完善技术最佳实践
数据质量分析员在数据治理流程中负责数据的剖析、清洗匹配合并等。工作包括:
为开发人员定义数据规格及标准 为机构有效的追踪数据质量问题 实施被业务人员和数据管理员定义正确的数据质量规则 不间断的监控数据质量水平及问题
业务分析人员在数据治理流程中负责定义数据的转换规则,工作包括:
与需求开发人员协作,正确捕获和解析业务需求 与开发人员和数据管理员协作,为业务用户缩短数据产生价值的时间
数据管理员需要定义引用数据,并管理元数据,工作包括:
保证数据的质量、正确、完整、一致、审计及安全性 定义“引用/参考”数据 为组织机构数据实体给出正确业务定义 为组织机构解决混淆和有争论的数据定义
2.数据管理制度
数据管理制度规定了数据管理工作的程序、章程及方法,是进行数据管理活动的行为规范和准则。
3.数据管理流程
数据管理流程主要包括数据生命周期管理流程、数据标准管理流程、数据质量管理流程等。
4.数据管理考核制度
数据管理考核制度是数据管理制度落实的关键保障,根据企业实际情况建立清晰的、可操作的的考核办法。
5.数据管理细则
数据管理细则是指引各数据管理活动如何开展的技术规范,包括规范制定数据标准的标准,制定数据质量检查规则的标准等可执行的技术文件。
△数据管理体系输出内容示例
(二)系统能力建设
搭建数据治理平台,通过技术手段为数据治理工作提供高效的运营支撑,实现企业数据资产的统一管控,包括以下方面:
1.数据采集、转换
包括数据源管理、批处理作业配置、流处理作业配置、任务管理等。
2.数据湖、数据仓库设计
需按企业实际情况进行数据仓库、数据湖设计,需要满足数据应用的使用需求、审计需求、数据全版本管控及数据总量需求,需充分考虑平台扩展性及健壮性。
3.数据治理
包含元数据管理、数据标准管理、数据模型管理、数据质量管理、数据标签管理、数据指标管理、数据资产管理、数据安全管理、数据需求管理、数据挖掘、数据服务。
4.平台管理
包含平台监控、日志审计、访问控制、身份鉴别、密级标识、系统加固功能等。
5.三网部署要求
支持将办公网制定的数据标准等数据同步至工控网、互联网中,并进行元数据抽取、落标检查等活动,将检查结果同步至办公网中,实现三网数据管理活动的同步进行。
6.系统集成
集成各系统数据,将治理后的数据资产按需配置提供API(数据服务接口),供其余业务系统调用。
△数据治理平台架构图
主数据管理工具:
数据质量管理工具:
(三)需求范围的管控
需求管理会贯穿至项目整个生命周期,尤其在项目中期阶段,每个需求的变化或调整都会对项目的整体进度或发展产生影响。
每当一个新的需求提出,一定要先从客户的角度上去考虑需求增加或调整的内在逻辑,再结合系统本身的功能以及用户的实际业务需要进行综合考虑。
如果确实是合理的需求,也要充分结合项目进展情况来分析是要放在当前版本实现。
04 项目验收阶段
此阶段主要的工作内容有:核查并完成未完成事项、 用户操作培训、系统运维培训、交付文档整理、项目总结与验收。
1.用户培训
用户培训阶段除了对用户进行系统操作培训,更重要是培养员工的数据思维,积极投入到数据管理工作中来,持续沉淀各数据角色的数据能力。
2.试运行及上线
上线阶段,可先进行小范围的系统试运行,从业务满足性方面检验数据治理平台运行效果,重点是业务流程满足度和业务场景满足度,最后安全上线。
3.运维管理
数据治理项目是一个长期的且持续开展的工作,需要持续问题跟踪,建设运维管理制度。在使用过程中,结合用户反馈不断地优化和完善系统,让数据治理系统保持与业务发展的适配度。
数据治理项目是以管理为主导,以工具为辅助的项目。表面上是在建设一个数据治理系统,实质是企业管理流程及业务发展的一次变革。通过项目推进,帮助企业梳理自身的数据脉络,重新定义各类数据的权责与归口,让数据能够在制度的约束下逐步完善,切实发挥价值。
微信扫码关注该文公众号作者