数据中台即服务——数据中台的四大支柱-技术圈

导读：并不是数据中台不行，是需要找到正确使用它的方法。

作者：石秀峰

来源：谈数据（ID：learning-bigdata）

中台概念，2015年诞生，2019年爆火，在最火的时候被很多人当成了“无所不能”的“万能药”，只要是IT的问题，就一个药方——上“中台”！于是乎，很多企业都争先恐后，纷纷走上了上中台的路。

但似乎“好景”不长，2019年末“中台”的大潮还未退却，就已经传出了对中台的质疑声——“中台，我信了你的邪！”。到了2020年对中台的质疑、唱衰、乃至讨伐的声音更是此起彼伏，在加上中台的鼻祖——“阿里，彻底拆中台了”，让中台彻底跌下了“神坛”。

而作为众多“中台”核心成员之一的“数据中台”，似乎成了“中台”家族的最顽强的那个，在沸沸扬扬“中台”质疑声中苦苦地挣扎着……

01 我们在谈「数据中台」的时候，到底在谈论什么？

在过去了两年里，我做了一些关于的数据中台研究，也写了几篇数据中台的文章，试图去理解和定义清楚“什么是数据中台”。过程中，我发现不同的人对“数据中台”的理解是不一样的：

有人认为：数据中台是一个方法论，用来指导企业实现“业务数据化、数据业务化”；
有人认为：数据中台是一个管理和使用数据的思维模式，核心是数据资产的沉淀；
有人认为：数据中台是大数据平台的延伸，是大数据的下一站；
有人认为：数据中台是对内进行数据共享，对外提供数据开放的数据服务平台；
也有的人将数据中台当做一个产品，常常拿它与数据仓库进行功能比较。

以上对于说法各有各的道理，可以说都正确，只是在不同的场景下的不同理解而已。当我们设计和构建数据中台时，我们致力于提供其他团队开发项目所需的能力和工具。但是，要想让数据中台真正发挥价值，单纯理念、产品、技术或方法论某一个方面去理解和定义它，是不行的。

我在早前的一篇文章《数据中台“热”下的“冷思考”》中也对数据中台定义过：「数据中台」是集组织机构、实施方法、管理流程与规范、技术与工具为一体的解决方案。

现在看来，说数据中台是一个解决方案没问题，但太过笼统，笔者试着对这个定义做一个细化和优化。

笔者认为：数据中台更像是一个数据产品或数据服务的数据能力工厂，它由“产品导向、数据服务、敏捷团队、赋能中心”四大支柱支撑，提供数据资产加工，数据分析和应用，数据服务输出等能力——数据中台即服务。

▲图：©谈数据原创

产品导向：这是提供给用户的数据平台、所有特性和功能，是工具和技术层面的内容，负责管理、加工、处理、运营数据。
敏捷团队：这是最重要的、确保数据中台成功最大的支柱，是实现新的数据运营模式——DataOps的关键。
数据服务：这是数据中台的灵魂，通过数据中台让用户在不付出大量努力和成本的情况下实现的结果，为用户提供价值。
培训赋能：这是让数据用起来的重要手段，它也是一项服务可以独立突显价值。

02 数据中台支柱一：产品导向

数据中台是在数据仓库、大数据平台基础之上发展起来的，都想“去其糟粕取其精华”形成一个理想的数据中台架构。但“理想很丰满，现实很骨干”，在不同公司中，存在不同的现状和需求，没有一个数据中台可以匹配所有的业务需求。

因此，数据中台的建设应该建立在深刻理解企业需求并关注“未来发展”的基础之上。

从产品侧看，数据中台应包含的能力和特性有：数据资产化、数据目录、数据质量、DataOps、数据服务、系统监控等。在企业环境中，提供这些特性的唯一方法是：产品导向。即，以用户为中心，采用敏捷方法，通过MVP——最小可行的产品，定期获得用户反馈，快速迭代，持续改进，构建和沉淀数据服务能力。

我们提供了基于产品导向的数据中台架构设计的9个最佳实践，供参考：

倾听用户（含潜在用户）的声音并尝试了解他们的需求及用户体验。
定义数据中台的定位和长期目标，数据中台一定不是一个通用的工具，每个企业的数据中台都应该有自己的“使命”。
全面的数据中台架构设计，定义哪些是常用功能，哪些是重要功能，定义尽量简化的业务场景，方便客户实现目标。
以MVP（最小可行产品）方式进行开发，及时与用户分享，以获得用户的初步反馈。
循序敏捷开发，不断优化改进。
清晰的产品路标设计，让老板和关键用户能够看到你现在在哪儿，要到哪去，以及定期获得用户的反馈。
数据中台的规划设计，MVP的开发都要一开始就致力于为用户提供价值，同时获取用户的反馈。用户需求不是一成不变的，数据中台必须不断变化，变化是数据中台生命周期的一部分。
数据中台技术路线最好选择云原生架构，微服务、DevOps、容器云等将使得数据产品的开发变得敏捷。
最后也是最重要的是要记住：数据平台也好，数据中台也罢，拥有最好的架构并不重要，再好的产品如果没有人使用它或者晚了两年用，那样就失去意义了。

03 数据中台支柱二：数据服务

在笔者看来，数据中台最重要的不是中台而是数据，但“纯粹”的源数据严格来说还也不是数据中台的一部分，需要将其加工、处理、标准化形成数据服务和数据产品。数据即服务——这是数据中台的灵魂。从这个角度讲，数据服务是数据中台的核心，并直接为用户提供价值。

数据中台提供的能力包括：数据资产管理，公共数据服务，垂直数据服务，数据服务开放共享，数据运营，中台管理等。数据中台即服务，每一项中台的能力都是为服务用户而生！

▲图：©谈数据原创

1. 公共数据服务

数据整合化，以范式化的主题模型整合异构数据源数据，形成一数一源（One Data）；
数据服务化，屏蔽上游数据结构变化对下游的影响；
数据标准化，统一业务和技术对数据的理解和认知。

2. 垂直数据服务

整合内外部数据源，提供单线条垂直数据服务能力；
提供贴源的数据存储和服务，基于批处理或流媒体创建和自动化数据可靠管道。

3. 数据萃取服务标

统一ID，提供跨系统、跨设备、统一的数据标识（One ID）；
统一标签体系，支持加工和提炼数据标签；
统一指标体系，支持加工和存储并提供统一指标数据；
一般不建议将复杂的加工萃取数据方式放在数据中台，如计算引擎，那是数据平台该干的活儿。

4. 数据开放共享服务

提供多样的数据服务方式，将数据中台的数据提供给数据应用方使用；
提供定制化模板服务，数据以约定的格式或复杂加工后，提供数据应用方使用。

5. 数据资产管理

提供统一的数据资产地图，数据目录和自助数据服务能力；
提供数据治理能力，统一数据标准和用数规范。

6. 数据中台运营

支持数据资产日常运营，提升数据资产价值；
提升需求响应效率，加速应用研发迭代效率。

7. 数据中台管理

提供数据管理、项目管理、开发管理、运营管理等支撑能力，为数据中台的持续化数据服务保驾护航。

04 数据中台支柱三：敏捷团队

如今市场需求千变万化，“及时性”比以往任何时候都更加重要，数据中台需要将合适的数据及时送达用户，要做到这一点实际上并不容易。

我们知道，中台是一种“中心化”的组织模式，“中心化”意味着极强的管控能力，标准化能力、统一调度和复用能力。

但“中心化”也有个很大缺点：这个“中心”一旦建的过大，就会陷入瓶颈，公司所有部门集中向一个团队提交用数需求，更多的任务将超出数据中台团队的能力范围，从而让“数据中台”变得臃肿而效率低下。

数据中台需要更加自动化的平台能力和更加敏捷的团队，以用户需求为中心，以协同协作的方式，支持业务与技术的团队融合（混合团队），鼓励团队协作和知识共享。对传统企业而言，建立敏捷的协作团队并不容易，一开始需要很多努力，但从长远来看对企业会有很大帮助！

数据中台中的敏捷团队重点关注的是“DataOps”——数据操作或数据运营，可以理解为数据的DevOps，目的是“让数据用起来”。DataOps揉和了DevOps理念中快速敏捷、持续集成等关键点，强调通过调整文化、流程和使用的工具，实现团队的融合和工作的协同，持续迭代数据架构，快速提升业务价值。

数据中台敏捷团队的角色构成：

产品经理：负责定义业务目标，维护和执行数据愿景、战略等。
解决方案架构师：负责定义的需求和要求一致的整体技术蓝图。
数据工程师：数据中台的核心技术团队，负责构建整个数据“供应链”，了解Hadoop、Spark、Kafka等技术体系架构，创建数据模型，实现数据采集、流转和存储，为数据集成提供支持。
数据治理团队：负责数据质量和安全的处理和预防，确保业务目标的完成。有时候，也会将数据治理团队作为DataOps的一个分支。BI团队、数据科学家团队是实现“DataOps”关键组成，负责数据的探索、挖掘、分析以及数据的可视化。为业务问题提供支持，帮助理解业务问题、梳理数据结构、优化数据质量等。
业务用户：提供用数需求是数据中台服务的最终用户。业务用户基于数据中台的自助服务能力，进行数据的探查、探索，以及自助式数据分析。

05 数据中台支柱四：培训赋能

在传统企业，数据中台对于大部分人员来说还是个新事物，要让各部门、各团队习惯使用数据中台，其实是个并不容易的事情。除了有了新的技术要求，更重要的是数据中台有一套新的流程和方法。有效的沟通和培训十分重要，有利于提高数据中台的使用率。

在数字化转型的大背景下，培训赋能是一个被广泛提及的话题，即，通过培训的方式赋予人或团队的某些能力，主要包括：技术赋能、数据赋能、工具赋能等。

培训是赋能的一个重要手段，但在实际的操作过程，往往也存在一些问题，导致培训赋能的效果并不理想，例如：

参与培训的学员，往往将培训当成为一个临时的任务，他们中的一部分还有很多工作，所以他们并没有完全专注于培训的课程。
一部分学员在培训过程中，经常受到其他事项的干扰，导致没有完成完整的课程。
即使部分学员完成了完整的课程，可一旦正式使用还是不会用。
那么，这些培训是不必要的吗？当然不是，但您可能需要调整一下培训的方法和内容。实战例子、参考代码、练习，全程的支持，将传统“授课式”培训转变为“实战式”培训，并及时获得反馈。

让业务用户真正参与到数据团队中来，参与意味着帮助设计、开发和数据中台运营。这种方法能够业务团队能够巩固专业的数据中台知识，并让自己也成为知识的生成者。数据中台团队也会受益，因为他们更加能够切身了解业务用户的实际需求。

在整个数据中台运营过程中，技术团队的职责重点关注基础设施组件的建设、数据服务能力的开发和数据供应链协调。同时，还有一个重要的职责就是“培训赋能”，为业务用户提供数据中台使用的教练和辅导服务。

写在最后的话

产品导向、数据服务、敏捷团队、培训赋能是构成数据中台的四大支柱，是“让数据用起来”的基础，缺少一个都会使整个架构不稳。同时，数据中台重点关注DataOps，为不同的业务用户提供不同的“数据管道”，实现数据价值。

文章的最后的最后再给大家分享一个典型DataOps框架：

▲来源：http://dockone.io/article/9833

黑色箭头表示典型的数据管道，源数据通过管道逐步移动到三个阶段（数据采集，数据工程和数据分析）。这些管道代表了一个数据供应链，这个数据供应链可以处理，优化和丰富数据，以供各种业务用户和应用程序使用。一个管道可能会填充财务使用的OLAP多维数据集；另一个可能将集成的客户数据传递到实时Web应用程序；另一个可能会为建立活动响应模型的数据科学家创建一个细分的原始数据池。