本文是一篇信息管理论文,本文在 DAMA 数据管理知识体系、数据管理能力成熟度评估模型、IBM 数据治理统一流程等理论的指导下,运用相关数据治理工具及方法,结合中国外运数据治理现状与问题,对中国外运数据管理现状进行全面分析,从数据架构管理、数据质量管理、参考数据和主数据管理、元数据管理、数据仓库和商务智能管理方面提出中国外运数据治理体系构建的内容,并详细阐述落地实施的原则及具体方法。
第一章 绪论
1.1 研究背景与意义
(1)研究背景
1990 年以来,以国际数据管理协会(DAMA,Data Management AssociationInternational)为代表的组织机构一直研究数据管理的理论成果。目前“科技引领、数字化驱动”已经成为了发展的新动力,物流行业和其他传统行业一起加速推进在线化、智能化、数字化的步伐,正在加速向智能化、数字化转型[1]。从仓储到运输,通过大数据、云计算、智能化、物联网和 5G 技术的应用,实现了产业和科技的有效融合,不断推动着各行业向数字化、智能化方向发展。
2002 年 11 月 20 日中国外运成立,2003 年 2 月 13 日在香港上市,集海运、陆运、空运、仓码、快件、船务及货代业务为一体,为客户提供优质的物流服务,业务主要分布在各分子公司。公司拥有众多优质资产,随着公司业务的快速发展,建立了大量的业务和管理系统,满足了业务的快速发展,积累了海量的业务数据。但是,由于数据治理没有被重视,存在诸多数据问题,致使这些数据的价值难以充分发挥,无法有效支撑企业管理和决策。主要存在的数据问题如下:
1)缺乏统一规划和统一管理。在信息系统建设时没有考虑到跨系统的数据关联性和开放共享方面的需求,致使各系统相对独立,造成各系统互联互通困难,各系统之间形成了许多信息孤岛,影响了各系统之间的集成交互。
2)缺乏统一数据标准管理。各系统都基于自己的需要定义数据代码、数据规格和语义,致使系统间难以实施数据融合和数据共享,给数据协同形成严重阻碍。
3)缺乏统一的数据质量管理。从数据新增、数据审核、数据冻结、数据解冻等各个环节,缺乏针对数据质量的有效控制,无法保障数据质量的准确性、一致性、完整性。
产生这些问题根源就是缺乏统一的标准和有效的数据治理,对数据业务相关的行为没有管理和约束,数据价值难以充分发挥,需要对中国外运全系统内的数据进行数据治理,建立数据管控体系。
1.2 研究内容
本文通过调研中国外运公司的数据管理现状,利用模型评估中国外运数据管理能力水平,然后对中国外运的数据管理问题进行调研和分析;结合国内外数据治理体系的相关理论,制定符合中国外运实际情况的数据治理方案,最后阐述中国外运公司数据治理方案实施及效果。
本论文主要包括四部分,具体如下:
(1)调查中国外运公司数据治理现状,主要采用实地调查、调研访谈等形式,总结中国外运目前数据治理存在的问题。
(2)分析中国外运数据治理问题,主要从数据架构、主数据、数据质量、元数据、数据仓库等方面进行分析。
(3)在描述现状和总结问题的基础上,结合 DAMA 数据管理知识体系、数据管理能力成熟度评估模型、IBM 数据治理统一流程等国内外数据治理框架,制定符合中国外运公司实际情况的数据治理方案。包括治理目标及原则,以及数据架构管理、数据质量管理、主数据、元数据、数据仓库等治理方案内容。
(4)对中国外运公司数据治理方案进行实施。包括实施计划、实施保障等方面。
第二章 相关理论
2.1 DAMA 数据管理知识体系
DAMA 是数据管理协会的简称,是世界性的专业数据管理协会组织。DAMA在国际上拥有 40 多个分会,7000 多个数据管理专业人士会员。
数据管理主要是指导组织如何管理数据资产的一种方法,主要包括开展数据管理的相关活动,制定数据管理的相关政策,提高数据资产管理能力[2]。数据治理主要是规划、监控、执行数据资产管理的相关活动。
数据治理职能指导其他数据管理职能如何执行,数据治理制定正确的政策、操作规程,确保以正确的方式对数据和信息进行管理[3]。
以下是 DAMA 数据管理职能领域具体定义:
2.2 数据管理能力成熟度模型
数据能力成熟度(Data Management Maturity,DMM)模型由卡耐基梅隆大学所开发,以数据管理各项基础原则为基础,并于 2014 年 8 月正式发布。软件能力成熟度集成模型(CMMI)历经 20 多年,经过实践检验,是软件和系统开发的黄金标准。数据能力成熟度模型能够最大限度实现业务部门与 IT 部门的匹配,为企业开展数据管理项目提供一套标准,从而使数据管理项目在符合数据战略的前提下有效开展[8]。并能利用强有力的管理工具来提高企业管理数据资产的能力,进而为企业带来商业价值[9]。
数据管理能力成熟度的等级主要分成五个等级,如下所示。
● 等级一:初始级。企业没有认识到数据管理的价值,各部门缺少相应的数据管理流程,各系统之间存在大量的信息孤岛,数据质量问题频繁发生。
● 等级二:受管理级。企业逐步认识到数据管理的价值,并在各部门范围内逐步建立了数据管理组织、流程、制度[10]。
● 等级三:稳健级。数据管理的价值被企业各部门所接受,在企业范围内制定了数据管理流程、数据管理规范。
● 等级四:量化管理级。数据被当作企业的战略资产,领导者开始认识到数据对业务的重要价值,开始针对数据的管理流程进行全面的优化。
● 等级五:优化级。关于数据管理的优化已经形成了常态化的机制。
本文通过利用数据管理能力成熟度评估工具,制定中国外运数据管理能力评估指标体系,以确定中国外运数据管理水平,定位中国外运数据治理面临的问题。
第三章 中国外运公司数据治理现状.........................9
3.1 公司简介....................................9
3.2 数据治理现状....................................10
第四章 中国外运公司数据治理分析.....................16
4.1 数据治理总体概述...........................16
4.1.1 分析依据...........................16
4.1.2 数据治理实践模式........................16
第五章 中国外运公司数据治理方案制定.........................34
5.1 目标原则及要求.............................34
5.1.1 数据治理目标..................................34
5.1.2 数据治理原则................................34
第六章 中国外运公司数据治理方案实施
6.1 实施计划
数据治理项目需要持续不断开展,才能真正使数据为业务带来价值。从支撑中国外运业务的观点考虑,拟定分三个阶段:
(1)第一阶段:2019 年-2020 年底
以中国外运业务发展战略和信息化总体战略规划为指引,在信息化总体战略规划的基础上,制定中国外运数据治理总体规划实施路径。到 2020 年底,初步实现数据治理能够支持中外运从按业务线运营,向一体化运营的转型,计划开展的主要工作:
1)以业务战略为基础,制定中国外运数据架构总体规划。
2)建立中国外运主数据管理系统,制定主数据管控体系。
3)建立健全主数据管控组织、制度及流程,全面开展各业务系统数据质量治理。
4)初步实施数据治理的其他模块,完善数据治理支撑组件。
(2)第二阶段:2020 年底-2021 年底
1)开展数据资源中心以及数据集成和共享平台建设,到 2021 年年底,数据治理能够支持中外运的一体化运营。规划完成的主要工作包括。
2)建立中外运数据服务门户,完成源系统数据清洗,建立一个平台,即数据资源中心(数据仓库)。
3)全面开展内部决策支持分析中心的建设,通过业务需求导向的沙盘演练,初步建立“两个中心”,即数据共享服务中心和决策支持中心。
4)加强数据安全、数据质量、元数据管理,深化数据治理工作。
(3)第三阶段:2021 年底-2022 年底
全面启动中国外运数据治理工作,持续提升数据质量。到 2022 年底,初步实现数据治理能够支撑中外运平台化运行,在互联网+和大数据应用方面,走在行业的前列。
第七章 结论与展望
7.1 结论
本文在 DAMA 数据管理知识体系、数据管理能力成熟度评估模型、IBM 数据治理统一流程等理论的指导下,运用相关数据治理工具及方法,结合中国外运数据治理现状与问题,对中国外运数据管理现状进行全面分析,从数据架构管理、数据质量管理、参考数据和主数据管理、元数据管理、数据仓库和商务智能管理方面提出中国外运数据治理体系构建的内容,并详细阐述落地实施的原则及具体方法。
本文在充分调研中国外运数据管理现状的基础上,详细分析中国外运数据治理的问题,并从数据架构管理、数据质量管理、主数据管理、元数据管理、数据仓库管理五方面详细制定了方案。明确了数据架构管理需要从整体上分析公司的业务战略,以业务为导向,对数据的整体架构进行分析以及总体规划,从内容上主要包含数据分布地图、数据分类、数据管控、数据平台。数据质量管理涉及数据生命周期的全流程管理,包括数据采集、数据加工、传输和存储、数据应用环节。主数据管理主要涉及到企业的基础数据标准制定,内容上包括主数据标准体系、主数据代码库、主数据应用服务、主数据管控体系设计。元数据管理从建立元数据管理组织、元数据采集、元数据监控等方面进行元数据的建设。数据仓库和商务智能管理方面,在内容上,建立数据资产目录,实现数据资产可见;在组织与职能上,建立数据