详解数据治理九大核心领域
01 前言
02 银行数据治理核心领域
同时各领域之间需要有机结合,如数据标准、元数据、数据质量等几个领域相互协同和依赖:
通过数据标准的管理,可以提升数据合法性、合规性,进一步提升数据质量,减少数据生产问题。
在元数据管理的基础上,可进行数据生命周期管理,有效控制在线数据规模,提高生产数据访问效率,减少系统资源浪费。
通过元数据和数据模型管理,将表、文件等数据资源按主题进行分类,可明确当事人、产品、协议等相关数据的主数据源归属、数据分布情况,有效实施数据分布的规划和治理。
03 数据治理九大核心领域
1.数据模型
数据结构。数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数据间的联系等。数据结构是数据模型的基础,数据操作和数据约束都基本是建立在数据结构的之上的。不同的数据结构有不同的操作和约束。 数据操作。数据模型中的数据操作主要用来描述在相应的数据结构上的操作类型和操作方式。 数据约束。数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义联系、他们之间的制约和依存关系,以及数据动态变化的规则,以保证数据的正确、有效和相容。
2.元数据管理
3.数据标准
数据标准是银行建立的一套符合自身实际,涵盖定义、操作、应用多层次数据的标准化体系,它包括基础标准和指标标准(或称应用标准)。与数据治理其他核心领域具有一定的交叉,比如元数据标准、数据交换和传输标准、数据质量标准等。
商业银行的数据标准一般以业界的标准为基础,如国家标准、监管机构(如国家统计局、中国人民银行、工信部)制定的标准,结合商业银行本身的实际情况对数据进行规范化,一般会包括格式、编码规则、字典值等内容。
良好的数据标准体系有助于商业银行数据的共享、交互和应用,可以减少不同系统间数据转换的工作。数据标准的主要由业务定义、技术定义和管理信息三部分构成。
数据标准的主题构成
(1)业务定义。业务定义主要是明确标准所属的业务主题以及标准的业务概念,包括业务使用上的规则以及标准的相关来源等。对于代码类标准,还会进一步明确编码规则以及相关的代码内容,以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的,进而形成一套一致、规范、开放和共享的业务标准数据。
(2)技术定义。技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性,从而能够对信息系统的建设和使用提供指导和约束。
(3)管理信息。管理信息是指明确标准的所有者、管理人员、使用部门等内容,从而使数据标准的管理和维护工作有明确的责任主体,以保障数据标准能够持续的进行更新和改进。
4.数据质量管理
数据质量评价维度
(2)明确相应的管理流程。数据质量问题会发生在各个阶段,因此需要明确各个阶段的数据质量管理流程,例如:
在需求和设计阶段就需要明确数据质量的规则定义,从而指导数据结构和程序逻辑的设计;
在开发和测试阶段则需要对前面提到的规则进行验证,确保相应的规则能够生效;
最后在投产后要有相应的检查,从而将数据质量问题尽可能消灭在萌芽状态。
数据质量管理措施,宜采用控制增量、消灭存量的策略,有效控制增量,不断消除存量。
数据质量管理流程
5.数据生命周期管理
数据生命周期中各参数间的关系
6. 数据分布和存储
数据存储布局
7.数据交换
8.数据安全
9.数据服务
银行典型的数据仓库服务体系
数据资产视图示例
04 数据治理的展望
1.利用大数据挖掘技术分析各类海量信息,发现市场热点与需求,实现产品创新服务
可以将大数据应用到产品生命周期,深入挖掘客户需求,把握客户痛点,推动产品创新。利用大数据技术对社交网络信息、在线客户评论、博客、呼叫中心服务工单、用户体验反馈等信息进行深度挖掘和分析,充分洞察客户,分析客户的情绪,了解客户对产品的想法,获知客户需求的变化趋势,从而对现有产品进行及时的调整和创新,事情贴近客户的生活场景和使用习惯。
基于大数据创新产品评价方法,为产品创新提供数据支撑。通过大数据分析,改变目前以规模、总量为主的业务评价方式,建立一整套完整的以质量、结构为主的全新的评价方式,以引导全行真正追求有质量、有效益的发展。
2.加强内外部信息联动,重点利用外部信息提升银行风险防控能力
3.利用大数据技术提升经营管理水平,优化业务流程,实现精细化经营决策
本文来源CSDN,作者数据工程师金牛
不是你需要中台,而是一名合格的架构师(附各大厂中台建设PPT)