主数据管理理论与实践-技术圈

导读

本文介绍了主数据的概述，包括主数据的定义、特征、类型、和其他数据的关系，主数据管理的意义，主数据管理的实施痛点，主数据管理的内容，主数据的管理实施方法以及项目实施示例等内容，为对主数据和数据管理有研究兴趣的朋友提供了一定的参考。

一、主数据管理概述

1.1. 主数据的定义

在数据管理领域，对于主数据的概念和定义有不同的解释和说明。参照标准和规范定义，本文采用国际数据管理协会DAMA在《DAMA数据管理知识体系指南》一书中对主数据的定义进行说明。

主数据是关于业务实体的数据，这些实体为业务交易提供关联环境。业务规则通常规定了主数据格式和允许的取值范围，一般组织的主数据包括当事人、产品、财务结构和位置等。

主数据是关于关键业务实体权威的、最准确的数据，可用于建立交易数据的关联环境。主数据值被认为是“黄金”数据，主数据相对交易数据而言，属性相对稳定，准确度要求更高，唯一识别。

1.2. 主数据的特征

相比于其他数据，主数据具有如下特征：

1）超越部门，主数据是所有部门和所有业务过程的最大公约数据；

2）超越流程，主数据不随具体流程而改变，而是作为完整流程的不变因素。

3）超越主题，不依赖特定业务主题却又服务于所有业务主题的有关业务实体信息；

4）超越系统，主数据管理作为单独的系统存在，服务于但高于其他业务系统；

5）超越技术，主数据必须应用一种能够为各类异构系统所兼容的技术条件，面向微服务架构为主数据的实施提供了有效的工具。

1.3. 主数据的类型

主数据主要包括配置型主数据和核心主数据。

1）配置型主数据：配置型主数据，也称为参考数据，是描述业务或核心主数据属性分类的参考信息，会在整个组织内共享使用。一般依据国际标准、国家标准、行业标准或企业标准和相关规范等，在系统中一次性配置使用的基础数据，例如国家、民族、性别等规范性表述。配置型主数据相对稳定，不易变化。

2）核心主数据：核心主数据指用来描述企业核心业务实体的主数据，是企业核心业务对象、交易业务的执行主体，如产品、物资、设备、组织机构、员工、供应商、客户、会计科目等。

1.4. 主数据与其他数据的关系

在《DAMA数据管理知识体系指南》一书中，将数据管理领域知识体系概括为十个大的方面，分别是数据架构管理、数据开发、数据操作管理、数据安全管理、参考数据和主数据管理、数据仓库和商务智能管理、文档和内容管理、元数据管理、数据质量管理和数据治理等。主数据管理与参考数据管理作为最核心的业务内容，在数据管理体系，以及提高数据质量，构建企业数据资产的过程中发挥着巨大的作用。

主数据及主数据管理往往和其他已有的概念混在一起，从而影响人们对主数据与主数据管理的本质的认识。本文将主数据与元数据、主数据与交易数据、主数据与参考数据这三个概念进行区别和联系。

1）主数据与元数据

主数据和元数据是两个完全不同的概念。元数据是指公司数据资产管理的基础，是关于“数据的数据”，例如数据类型、数据定义、数据关系等，相当于数据表格中的表头信息，是一个相对客观的概念。而主数据是从元数据中挑选出来的，表征公司业务运行的关键、通用型数据，是一个相对主观的概念。它不仅仅只是表头信息，而是包括实例数据。例如公司的产品列表、客户列表、分公司地址信息等。

2）主数据与交易数据

交易数据也是基于元数据衍生而来的，反应公司实时业务记录的数据，同样是实例数据。主数据是相对稳定的，静止不变或者是一段时间内静止不变的数据，而交易数据则是实时变化的数据，往往描述的是某一个时间点所发生的交易行为。例如客户订单、存货跟踪、销售记录、售后事件等。

一个主数据可能会跟多个交易数据有关联，而一个交易数据可能又会对主数据产生影响。举例来说，航空公司中，“客户本年度飞行里程”是一个主数据，而“客户每次飞行记录”，则是交易数据，当交易数据“客户每次飞行记录”累积到一年时，主数据“客户本年度飞行里程”便会产生更新。

3）主数据与参考数据

参考数据是用于将其他数据进行分类或者目录整编的数据。业务规则通常规定参考数据值是几个允许值之一。允许值的数据集是一个值域。有些组织根据内部业务定义参考数据的值域，其他参考数据的值域可由像政府或行业标准等外部资源来定义。多组参考数据的值域可以指向同一个概念域。每个值在其所在的值域集是唯一的。用通俗的术语表述，参考数据也可以叫做数据字典、代码集等。

企业为了进行更有效率的数据整合、数据共享和数据分析应用，开始尝试对参考数据进行企业或者部门层面的整合和管理，利用参考数据集记录系统尝试为范围内的IT系统中的数据库提供统一的参考数据。参考数据是对数据的解释针对一些数据范围和取值的数据解释，让人们容易读取相关的数据。

在政务数据应用领域，广义的参考数据体现在参考数据集记录系统、政务信息资源目录系统、代码集系统、数据图书馆等系统方面，广义的主数据体现在数据融合建仓的过程中，一般政务数据项目会建设包括人口、法人、房屋、电子证照、社会信用、空间地理等主数据，也称基础库。

在实操中，参考数据管理和标准实施一般是和主数据管理项目一起实施。

二、主数据管理的意义

主数据是数据之源，是数据资产管理的核心，是信息系统互联互通的基石，是信息化和数字化的重要基础。通过构建准确、唯一、权威的数据来源建立企业主数据标准管理体系，是提高企事业单位数据质量和数据资产价值的关键因素。良好的主数据管理对于企业数据资产体系建设，通过数据驱动发展，构建未来发展与竞争的核心竞争力，具有重要意义。

1) 消除数据冗余，提升数据质量：主数据打通各业务链条，统一数据语言，统一数据标准，实现数据共享，最大化消除了数据冗余，提升数据质量。

2) 提升数据处理效率：通过主数据管理可以实现数据动态自动整理、复制，减少人工整理数据的时间和工作量。

3) 数据驱动，提高公司战略协同能力：数据作为公司内部经营分析、决策支撑的“通行语音”，实现多个部门统一后，有助于打通部门、系统壁垒，实现信息集成与共享，提高公司整体的战略协同力。

4) 完善IT系统架构和企业数据架构，助力数据应用和管理：通过主数据建设，将为企业在数据应用与管理奠定基础。从 IT 建设的角度，主数据管理可以增强 IT 结构的灵活性，构建覆盖整个企业范围内的数据资产管理基础和相应规范，并且更灵活地适应企业业务需求的变化。此外，主数据质量的提高也能够为后期数据集成和数据整合打下良好的基础。

三、主数据管理的实施痛点

主数据管理意义非凡，但是在实践和实施方面还是存在很多的难点，突出表现在以下几个方面：

1）认知不统一，不重视主数据的总体规划，缺乏顶层设计，无法在单位决策层、管理层和业务层等各层级统一思路；

2）各职能部门各自为政，难以在标准和规则层面达成一致，致使主数据代码标准难统一；

3）通用标准主数据（国际标准、国家标准和行业标准产生的主数据）管理分散，缺乏便捷可靠的数据获取渠道，数据获取困难；

4）单位内部已经存在且分散管理的主数据，由于缺乏统一标准和数据关联，大量的数据清洗依靠人为判断，数据清洗难度和风险都很大；

5）企业历史系统和历史数据的数据标准化程度不高，数据清洗难，改造成本高，给主数据系统集成造成较大困难；主数据管理进程需要修改现有的相关生产业务过程和系统，需要从管理学的角度充分调动业务部门密切配合，对组织的业务运营效率和信息决策周期要求较高。

6）主数据管理模式要求业务间有表单数据交换，因此短期内会使得信息架构发生变化，甚至变得更加复杂。

四、主数据管理的内容

主数据管理的主要内容包括“两体系、一工具”，即主数据管理标准体系、主数据管理保障体系和主数据管理工具。其中，主数据管理标准体系是主数据管理工作的重中之重，主数据管理保障体系为主数据管理保驾护航，主数据管理工具确保主数据管理有效落地。

4.1. 主数据管理标准体系

主数据标准管理体系包含业务标准（编码规则、分类规则、描述规则等)、主数据模型标准。主数据标准管理体系在建设梳理的过程中，一般会衍生出一套代码体系表或称主数据资产目录。

1）主数据业务标准是对主数据业务含义的统一解释及要求，包括主数据来源、主数据的管理级次、统一管理的基础数据项、数据项在相关业务环境中产生过程的描述及含义解释、数据之间的制约关系、数据产生过程中所要遵循的业务规则。主数据业务规则包含主数据各数据项的编码规范、分类规则、描述规则等。

2）主数据模型标准包含：主数据逻辑模型和主数据物理模型。主数据逻辑模型主要是通过实体关系图俩表示，ER图，主数据物理模型，也成为主数据的物理存储结构表。

3）主数据代码体系表：在某些领域内，又称主数据资产目录。是描述企事业单位信息化建设过程中所使用的主数据代码种类、各类主数据代码名称、代码属性（分类、明细、规则等）、采（参）标号及代码建设情况的汇总表，是企业主数据代码查询和应用的依据，同时也是主数据代码的全局性和指导性文件。主数据代码体系表主要结合了企业的经营管理特点，服务于企业信息化建设，主要包括两部分内容，第一是企业信息代码体系表的框架结构以及分类，第二是所有分类下的信息代码标准明细以及建设情况。

如政府数据应用领域的政务信息资源目录体系。

4.2. 主数据管理保障体系

主数据管理保障体系包括主数据管理组织、制度、流程、应用及管理评价五部分。

1）主数据管理组织

主数据管理组织主要包括企业内各类主数据的管理组织架构、运营模式、角色与职责规划，通过组织体系规划建立明确的主数据管理机构和组织体系，落实各级部门的职责和可持续的主数据管理组织与人员。

主数据管理组织结构包括决策层、管理层和执行层。

2）主数据管理制度

主数据管理制度规定了主数据管理工作的内容、程序、章程及方法，是主数据管理人员的行为规范和准则，主要包含各种管理办法、规范、细则、手册等。主要包括《主数据管理办法》、《主数据标准规范》、《主数据提案指南》、《主数据维护细则》、《主数据管理工具操作手册》等。

3）主数据管理流程

提供梳理数据维护和管理流程，建立符合企业实际应用的管理流程，保证主数据标准饿到有效执行，实现主数据的持续长效治理。主数据管理流程可以以管理制度的方式存在，也可以直接嵌入到主数据管理工具中。

主数据管理流程包括主数据业务管理流程（主数据的申请、校验、审核、发布、变更、冻结、归档等进行全生命周期管理）、主数据标准管理流程（对主数据标准的分析、制定、审核、发布、应用与反馈等流程）、主数据质量管理流程（主数据的创建、变更、冻结、归档）等。

4）主数据应用

主数据应用主要包含三部分内容：明确管理要求、实施有效的管理、强化保障服务。

5）主数据管理评价

主数据管理评价是用来评估及考核主数据相关责任人职责的履行情况及数据管理标准和数据政策的执行情况，通过建立定性或定量的主数据管理评价考核指标，加强企业对主数据管理相关责任、标准与政策执行的掌控能力。

主数据管理评价指标从管理标准、数据认责和数据政策三个角度考虑，由数据所有人与数据认责人共同确定，定义一系列的衡量指标和规则，一方面落实和检查主数据的应用情况，另一方面考察和评估主数据管理、主数据标准、主数据质量的执行情况。

4.3. 主数据管理工具

主数据管理工具是主数据标准文本发布、主数据全生命周期管理的重要平台。主数据标准的维护流程和管理措施通过管理平台进行系统实现和控制，以保证标准的唯一性和宣贯的及时性。

主数据管理工具主要包括数据建模、数据整合、数据管理、数据服务基础管理、标准管理等功能模块。

1）主数据建模：主要以主数据标准体系为基准，通过可视化建模工具，定义主数据对象、编码规则、属性值和控制流程等基础要素，构建主数据标准模型。

2）主数据整合：主要利用数据清洗工具及扩展功能，将各系统生成的主数据进行汇集、依据主数据标准和主数据模型定义的规则进行校验、清洗、发布，实现对主数据的全生命周期管理，并整合出统一的、可信任的主数据。

3）主数据管理：按照标准主数据管理规程的要求，通过严格的管理流程，实现主数据创建、审批、发布、修改、冻结和失效等全生命周期管理以及数据字典的管理维护，确保数据的一致性、准确性、实时性和权威性。

4）主数据存储和服务：主数据平台发布的基准数据，集中存储于主数据基准库，提供在线查询和订阅功能，并通过流程驱动和消息驱动的标准接口提供数据共享服务。

5）标准文件资料管理：利用外部公共文档管理系统或内置管理功能，实现标准文件和相关资料的存储管理、版本管理和标准目录管理，配置智能化搜索引擎，实现智能、快捷、精确高效的查询检索功能。

6）基础管理：主要实现对系统中的基础数据进行设置，配置灵活、安全可靠的权限管理及日志管理，包括用户、用户组、角色、资源、流程配置等，以及对各类主数据的进行统计分析，为主数据应用评价提供有力支撑。

五、主数据的管理实施方法

主数据实施要点主要包含主数据规划、制定主数据标准、建立主数据代码库、搭建主数据管理工具、构建运维体系及推广贯标六大部分，其中主数据规划是纲领、制定主数据标准是基础、建立主数据主数据代码库是过程、搭建主数据管理工具是技术手段、构建运维体系是前提，推广贯标是持续保障。

1）主数据规划：运用方法论并结合企业实际情况，制定主数据整实施路线图。

主数据规划强调将需求分析与系统建模紧密结合，需求分析是系统建模的基础，而业务调研又是需求分析的前提。

在主数据规划咨询的过程中需要参照标准，主要参照的标准有国际标准、国家标准、行业标准、企业标准，确保企业的主数据规划咨询后能够既符合国家相关规定，又具备企业行业特色。

通过现状调研和需求分析等前期工作输出主数据规划成果，该成果主要包括主数据标准化体系架构、主数据集成架构、主数据安全架构（数据脱敏、数据权限）以及运营管理架构（组织、制度、流程、管理规范、质量管理措施等）等内容，此外主数据规划阶段的关键活动是对成果、体系的宣贯，通过宣贯让企业的各级管理人员及员工及时掌握相应的标准、规范，确保整个体系的梳理运行。

2）制定主数据标准：确定数据范围，与业务部门共同制定主数据标准，标准内容包括确定分类规范、编码结构、数据模型、属性描述等。

制定主数据标准是建立主数据代码库的基础工作，保障主数据管理工具开发运维以实现系统之间数据共享的前提，也是主数据管理组织及流程顺利开展的关键阶段。制定主数据标准一般遵循简单性、唯一性、可扩展性等相关原则，既要方便当前应用系统的需求，又要考虑未来信息系统发展的需求，此外，制定主数据标准还要根据业务需求的紧急程度分期建设。

主数据制定的过程参考：

1）在理解企业信息化整体规划的基础上，开展主数据标准现状调研，梳理相关业务流程；

2）选取组织架构、业务范围等类似的优秀企业作为标杆进行对比分析，归纳核心管理领域和业务领域的主数据管理需求，确定数据范围和组织范围。

3）要根据各类主数据的特点并结合企业实际情况，与相关业务部门共同讨论制定满足企业应用需求的主数据标准，标准内容主要包括分类规范、编码结构、主数据模型、描述模板、属性取值等。

业务标准的分类是基础，科学合理的分类是制定标准成功的保障，描述标准是数据信息在标准化系统校对的主要依据，其信息的描述是由各信息的属性字段连接而成，可针对数据分类建立标准化的描述模板，有效避免一物多名现象。

3）建立主数据代码库：按照主数据标准进行数据检查、数据排重、数据编码、数据加载等，建立符合数据标准和规范的主数据代码库。

建立主数据代码库的制定方法可参考以下步骤，第一，确定代码结构；第二，调研、收集各类代码标准；第三，分析、优选各类代码标准并提出规划制定建议；第四，编制规则征求意见；第五；征求部门意见以完善和确认规则；最后，提交规则送审稿。

4）搭建主数据管理工具：建设主数据管理工具，为主数据的管理提供技术支持，实现主数据查询、申请、修改、审核、发布、冻结、归档等全生命周期管理。

5）构建运维体系：建立主数据管理和标准管理的运维组织、管理流程、考核机制等，保证主数据标准规范得到有效执行。

6）推广贯标：统一执行主数据标准规范，扩大主数据标准的应用范围，实现信息系统间的互联互通及共享利用。

六、主数据管理的项目实例

主数据管理涉及到企业最核心的业务流程、交易数据和数据资产，关系到企业生产经营的方方面面。所以注定主数据管理的实施建设是一个持续长期的过程，结合业内的实施经验，主数据管理项目的实施策略一般为：整体制定标准、分步建设系统、先基础、后深化。