如何全面而深刻的理解数据标准？（理论+案例）
共 3845字，需浏览 8分钟
·
2021-06-08 23:16
这是一篇关于数据标准的综述，希望通过读这篇文章，你会对数据标准有全新的认识。
一、数据标准的定义
1、中国信通院《数据标准管理实践白皮书》[1][2]：
数据标准（Data Standards）是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。在数字化过程中，数据是业务活动在信息系统中的真实反映。由于业务对象再信息系统中以数据的形式存在，数据标准相关管理活动均需以业务为基础，并以标准的形式规范业务对象再各信息系统中的统一定义和应用，以提升企业在业务协同、监管合规、数据共享开放、数据分析应用等各方面的能力。
对于企业而言，通俗来讲，数据标准就是对数据的命名、数据类型、长度、业务含义、计算口径、归属部门等，定义一套统一的规范，保证各业务系统对数据的统一理解、对数据定义和使用的一致性。
数据标准的具体形态通常是一个或多个数据元的集合，即数据元是数据标准的基本单元。《信息技术数据元的规范与标准化第1部分 数据元的规范与标准化框架》（GB/T 18391.1-2002）将数据元定义为用一组属性描述定义、标识、标识和允许值的数据单元，如下图所示：
2、JR/T0105-2014 银行数据标准定义规范[3]：
标准是指为了在一定的范围内获得最佳秩序，经协商一致制定并由公认机构批准，共同使用的和重复使用的一种规范性文件。
数据标准是指对数据的表达、格式及定义的一致约定，包括数据业务属性、技术属性和管理属性的统一定义。业务属性包括中文名称、业务定义、业务规则等，技术属性包括数据类型、数据格式等，管理属性包括数据定义者、数据管理者等。
银行数据标准定义框架如下图：
下图是《银行数据标准定义规范》JR/T 0105-2014中关于“担保种类”的数据标准定义示例：
3、《数据治理系列3:数据标准管理》[4]：
提到“标准”二字，我们第一时间能够想到的就是一系列的标准化文档，例如：产品设计标准、生产标准、质量检验标准、库房管理标准、安全环保标准、物流配送标准等，这些标准有国际标准、国家标准、行业标准、企业标准等。而我们所说的数据标准却不单单是指与数据相关的标准文件，数据标准是一个从业务、技术、管理三方面达成一致的规范化体系。
数据标准化是指研究、制定和推广应用统一的数据分类分级、记录格式及转换、编码等技术标准的过程。——维基百科。
数据标准是一套由管理制度、管控流程、技术工具共同组成的体系，是通过这套体系的推广，应用统一的数据定义、数据分类、记录格式和转换、编码等实现数据的标准化。
二、数据标准的内容
数据标准管理的对象可以分为数据模型、主数据和参考数据、指标数据三大类，每一类均可采用以数据元为数据标准制定的基本单元构建数据标准体系。
1、模型数据标准
基础数据指业务流程中直接产生的，未经过加工和处理的基础业务信息，模型数据是指对基础类数据特征的抽象和描述。
模型数据标准是为了统一企业业务活动相关数据的一致性和准确性，解决业务间数据一致性和数据整合，按照数据标准管理过程制定的数据标准，模型数据标准也是元数据管理的主要内容之一。
以下是某银行[5]为确保数据标准使用，形成的一整套模型数据标准的信息项属性架构：
下图是某运营商数据仓库DWD模型层常用数据元的标准定义示例：
下图是某运营商数据仓库DWD层数据元后缀规范示例：
2、主数据和参考数据标准[4]
主数据是用来描述企业核心业务实体的数据，比如客户、供应商、员工、产品、物料等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，被誉为企业的“黄金数据”。
参考数据是用于将其他数据进行分类或目录整编的数据，是规定数据元的域值范围。参照数据一般是有国标可以参照的，固定不变的，或者是用于企业内部数据分类的，基本固定不变的数据。主数据与参照数据的标准化是企业数据标准化的核心。
3、指标数据标准
指标类数据是指具备统计意义的基础类数据，通常由一个或以上的基础数据根据一定的统计规则计算而得到。
指标类数据标准一般分为基础指标标准和计算指标（又称组合指标）标准。基础指标具有特定业务和经济含义，且仅能通过基础类数据加工获得，计算指标通常由两个以上基础指标计算得出。
以下是某银行[6]为确保指标数据标准定义的完整与严谨，形成的一整套指标数据标准的信息项属性架构：
以“拨备覆盖率”指标为例，从数据标准化的角度来看，首先需要定义其业务含义，以明确其定位和用途，统一业务解释；同时通过技术属性明确其指标技术口径和取数规则等，确保指标数据计算结果的一致性。这样，在整个银行层面，统一了“拨备覆盖率”的业务口径和技术口径，最终确立了其使用规范。
指标数据标准可以从维度、规则和基础指标三个方面进行定义：
并非所有模型数据、主数据和参考数据、指标数据都应纳入数据标准的管辖范围。数据标准管辖的数据，通常只需要在各业务条线、各信息系统之间实现共享和交换的数据，以及为满足监控机构、上级主管部门、各级政府部门的数据报送要求而需要的数据。
《数据标准管理实践白皮书》将数据分为基础类数据和指标类数据，数据标准也可以分为基础类数据标准或指标类数据标准，这种划分方法中的基础类数据其实等于模型数据+主数据+参考数据，因此不存在本质的区别。
三、数据标准的组织保障
《数据标准管理实践白皮书》[1]给出了数据标准管理组织架构建议，即将数据标准管理组织划分为数据标准决策层、数据标准管理部门、数据标准执行层。
数据标准决策层是企业数据标准管理的最该决策组织，主要职责是组织制定和批准数据标准规划、审核和批准拟正式发布的数据标准、协调业务和IT资源，解决在数据分类规划、体系建设、评审发布、执行落地中的全局性、方向性问题，推进企业整体开展数据标准化工作。
数据标准管理层是企业数据标准管理的组织协调部门，主要职责是根据业务需求，组织业务和IT部门，开展数据标准落地工作组织业务部门和IT部门参与数据标准管理相关工作，并推进数据管理工作的进程，同时及时将数据标准管理过程中的成果或问题报决策层审批。
数据标准执行层是指具体开展数据标准编制和体系建设的数据标准管理部门，通常由数据标准管理专家、相关业务和IT专家组成，主要职责是解决编制数据标准、推进数据标准落地工作中的各类具体业务问题和技术问题。
以下是银行业的一种数据标准组织示例（引自2019年数据资产管理大会）。
四、数据标准管理制度体系
数据标准管理制度体系是指企业为开展数据标准管理工作而制定的一系列规章制度。数据标准管理制度主要包括数据标准管理办法文件、数据标准规范文件、数据标准管理操作。
1、数据标准管理办法
一般包括企业数据标准管理目标、数据标准管理组织中各部门的职责、数据标准管理各项工作的主要过程，以及开展数据标准管理工作的相关机制，如沟通汇报机制、审核机制、考核机制等内容，下面示例了银行的数据标准管理办法框架。
下面是某银行的数据标准管理办法具体示例[8]，包括总则、组织与职责、数据标准的制定、数据标准的评审与发布、数据标准的执行、数据标准的变更、数据标准的复审及监督管理等等：
2、数据标准专项办法
数据标准工作涵盖内容广泛，涉及专业领域众多。需在数据标准管理政策的指引下，依托数据标准原则与组织架构职责，根据数据标准各专项领域的工作特点，制定各专项管理办法，用来指导各项工作在全行的有序开展，如客户数据标准、产品和服务数据标准、统计指标标准等文件。
下面是证券期货业统计指标标准文件示例[9]：
3、数据标准管理操作文件
以各专项数据标准管理办法为基础，在本部门或本业务领域内开展数据标准化工作的具体实施文件，进一步细化至各项工作的操作流程。通过各项流程细则的制定，将顶层设计贯穿至数据标准的日常工作之中，打通了数据标准在执行操作层面的“最后一公里”，指导一线工作人员按照规范化流程开展数据标准工作。
下面是银行的《数据标准管理细则》落地方案示例：
这让我想起以前推为了进业务系统元数据管理的落地而制定的流程，如下图所示：
五、数据标准与元数据的关系
数据标准本质上是一种数据的规范化描述，因此可以这么认为，元数据是数据标准的基础，企业在制定数据标准的时候最先需要明确的就是数据业务属性、技术属性和管理属性，而这三类属性就是我们所说的业务元数据、技术元数据和管理元数据，但元数据不等于数据标准，因为元数据如果不进行规范化约束，就无法成为数据标准。
基于元数据的数据标准管理，为业务实体的定义、关系和业务规则到IT实现之间提供清晰、标准的语义转换，提高业务和IT之间的一致性，保障IT系统能够真实反映业务事实。并为数据标准系统与其他业务系统的集成，提供有关数据标准、数据映射关系和数据规则的描述，为业务系统的集成提供支撑。