数据中台：为什么会出现数据孤岛和应用孤岛

导读：企业已经进入了数据管理的高级阶段，需要全局的数据治理、数据能力的复用和共享以及云原生架构的支撑。在这个阶段需要解决的一个重要问题是如何避免数据孤岛和应用孤岛。

作者：彭锋 宋文欣 孙浩峰

来源：技术琐话（ID：TheoryPractice）

• 应用场景：为什么会出现数据孤岛和应用孤岛

部门A为了解决一些大数据问题，采购了厂商X的大数据解决方案，安装了一个大数据平台，导入自己的数据并开发了一些大数据应用，运行得挺不错。

这个时候，部门B也需要解决一些大数据问题，于是试图采购厂商Y提供的大数据解决方案，但Y的大数据平台和X的有一些版本、组件上的差异，所以需要对X的大数据平台进行改造。

问题是，这个任务由谁来完成，由谁负责改造后的大数据平台的运维？有可能厂商Y的大数据应用也需要做些改造，这可行吗？部门A的应用已经运行得很好了，部门B的应用会不会对部门A的应用造成影响（包括性能和数据安全的影响）？如果影响了，谁来负责？

比较简单且快速见效的方法是直接安装厂商Y提供的端到端的解决方案。照此下去，每个解决方案都会安装一个新的大数据系统。

还有一个问题是，厂商X和厂商Y底层的数据结构可能不是对外公开的，因而它们各自解决自己的问题，虽然开始互不干扰，但是后来就造成了数据孤岛和烟囱。这个时候，由于各个子系统的数据标准不一、数据格式不同，各部门之间数据无法互联互通，很难根据数据做出全局决策。

解决上面的问题，正是数据中台方法论和架构的任务。TotalPlatform保证所有数据应用的统一管理，OneID、OneModel确保各子系统中数据的互联互通，OneService负责数据能力的共享，TotalInsight确保全局数据运营的高效和价值量化。

01 全局的数据治理

必须有全局的数据治理系统来管理所有子系统的数据，确保它们能互联互通。例如，OneID要求所有关于用户的数据都必须使用同一个ID，OneModel要求所有数据仓库的模型都必须符合同样的标准。

但是这里要指出，解决数据孤岛和应用孤岛的问题，除了技术方案以外，明确责权利也很重要。出现孤岛的原因之一就是各部门的责权利不明晰。如何在使用数据中台解决孤岛问题的同时保证责权利的明晰，是一个非常重要的问题。

02 数据能力的复用和共享

在进行全局的数据治理的同时，治理的结果必须能为公司创造价值。这个时候就类似于OneService的功能，既要求能进行全局的数据能力的复用和共享，也需要类似TotalInsight的功能，管理全局的数据资产，量化数据能力的投入产出。主要的工作如下：

• 建立数据能力共享的责权利机制；
• 提供全局的数据能力目录和访问机制；
• 提供数据能力共享的工具、机制和流程；
• 对共享的数据能力的管控和审计；
• 确保共享的数据能力的高效运行。

03 云原生架构的支撑

在这个阶段随着业务的不断增长，越来越多的应用程序被添加到大数据系统中。先有Spark、Kafka，后有Flink、TensorFlow，现在又有各种新的大数据和人工智能组件。

这些就是在云基础架构上运行大数据系统的根本原因。而云平台为分析工作负载和一般工作负载提供了极大支持，并提供了云计算技术的所有好处：易于配置和部署、弹性扩展、资源隔离、高资源利用率、高弹性、自动恢复。

在云计算环境中运行大数据系统的另一个原因是大数据工具的发展。

传统的分布式系统（如MySQL集群、Hadoop和MongoDB集群）倾向于处理自己的资源管理和分布式协调，但是现在由于Kubernetes、Mesos、YARN等分布式资源管理器和调度程序的出现，越来越多的分布式系统（如Spark）将依赖底层分布式框架来提供这些资源分配和程序协调调度的分布式操作原语。

在这样的统一框架（见图4-5）中运行它们将大大降低复杂性并提高运行效率。

▲图4-5 云原生架构

04 DataOps

大部分企业的数据平台建设已经进行到第一阶段或第二阶段，而要顺利过渡到第三阶段，则离不开一个关键方法论——DataOps（数据运维）的帮助。

DataOps与DevOps十分形似，也有着与DevOps类似的软件开发角色，它是数据工程师简化数据使用、实现以数据驱动企业的方法，也是企业顺利实现第三阶段的关键。因此，本文将介绍DataOps的概念，解释为什么它对于企业从数据中获取真正价值、实现数字化运营以及建设数据中台都非常重要。

05 什么是DataOps

维基百科对DataOps的定义是：一种面向流程的自动化方法，由分析和数据团队使用，旨在提高数据分析的质量并缩短数据分析的周期。DataOps的这一定义会随着时间的推移而变化，但其关键目标非常明确：提高数据分析的质量并缩短数据分析的周期。

在2018年Gartner发布的《数据管理技术成熟度曲线》报告中，DataOps的概念被首次提出。该报告指出，DataOps虽然可以降低数据分析的门槛，但并不会使数据分析变成一项简单的工作。

与DevOps的落地一样，实施成功的数据项目也需要做大量的工作，例如深入了解数据和业务的关系、树立良好的数据使用规范和培养数据驱动的公司文化。

当然，DataOps将极大提高人们使用数据的效率并降低使用数据的门槛，公司可以更快、更早、更好地使用数据，且成本和风险更低。

本文摘编自《云原生数据中台：架构、方法论与实践》，经出版方授权发布。

延伸阅读👇

《云原生数据中台：架构、方法论与实践》

推荐语：前Twitter大数据平台主任工程师撰写，融合硅谷与国内经验，全面讲解云原生数据中台架构、选型、方法论、实施路径，国内外专家联袂推荐。

干货直达👇

• 终于有人把数据安全讲明白了
  

• 35岁的程序员，真的要转管理吗？
  

• 数据中台、标签、数据资产相关的15个名词解释
  

• 图灵奖得主都写过哪些书？

更多精彩👇

在公众号对话框输入以下关键词

查看更多优质内容！

PPT | 读书 | 书单 | 硬核 | 干货 | 讲明白 | 神操作

大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化

AI | 人工智能 | 机器学习 | 深度学习 | NLP

5G | 中台 | 用户画像 | 1024 | 数学 | 算法 | 数字孪生

据统计，99%的大咖都关注了这个公众号

👇