做数据分析如何从囚徒困境到合作的进化

在进入正题之前，我先讲一下咱今天分享的核心思想，我在一个大数据公司创业，做了好几个产品，从统计分析平台，到广告监测平台，再到用收集到的数据为移动设备打标签，最后到用这些数据进行商业分析，帮助客户增收降本。在这十年的工作中，我发现一个非常重要，但是很困难的职业----数据（商业）分析师。

作为一个技术人员，我曾经以为数据分析师只要会写SQL，就可以做数据分析，但是随着工作年限的提高，我发现，做好数据分析的难度远高于我的想象。我从互联网上查找了一些关于“数据（商业）分析师技能要求”的文章，发现要想当好数据（商业）分析师，需要具备的能力可能远远超出技术人员的想象（如下图所示）

从这个图中，我觉得优秀的数据分析人员，简直就是个神的存在。从我常年在数据方面的工作而言，一个优秀的技术人员，可以很好的掌握这里面几项技术已经相当不错了。

那么，数据分析师如何成长成为这种神一样的存在呢？我认为，除了技术性因素外，还有一个组织问题：数据分析师在企业内承上启下，和多个部门、组织和个人打交道，在组织里起到组织核心的作用。从“社会学”角度观察，不同组织之间，容易出现“本位主义”，越大的组织，越容易陷入“囚徒困境”中。

接下来，以某全球零售餐饮连锁企业选址的方法论为例，来讲讲在这个通过数据分析选址的项目中，出现的“囚徒困境”是如何解决的？

某全球零售餐饮连锁企业，在中国市场开一家火一家，除了特有的餐饮文化和严格的复制标准，还有一项在连锁餐饮界引以为豪的竞争力——选址成功率，几乎百分之一百的选址成功率！肯德基经营成功的首要三大因素必然是选址、选址、选址。

“选址”对于连锁经营实体的重要性不言而喻，但同时也是长久以来所有实体连锁的痛点，而且对于目标客群和商业模式并不清晰的便利店/超市连锁而言，选址的难度更高。

传统的选址作业流程主要靠人工调研和实地考察，大量及长时间周期的人工作业，使得选址开发的流程过长，同时人工作业模式也存在太多的不可控性。

漫长的门店开发流程，单纯依靠人工管控，对于进度的管理和追踪的难度极大。而与人口相关的各类数据，如目标门店区域的到访量、到访年龄比例等情况需靠长时间的人工现场采集，成本高，而且极易出现核心数据缺失的状况。

我们知道选址，在商圈数据调研的时候，会走访很多线下网点，还要采集很多线下环境数据，例如人口数据。我们可能可以从高德、百度获得这样的热力图，虽然看着非常焕丽。但是在精细的选址中却没有鸟用。

原因：在精细的选址中，业务方需要知道某个大楼、小区，甚至是小区的东门还是小区的西门人多。但是我们无法从这种图里获得具体的人口数字（或者指数）。

不要小看这个Hash ID，它让该企业第一次有了把所有数据放置到一个标准度量体系中的方法。彻底解决了前台团队、后台数据团队、分析师团队、数据智能团队之间沟通的沟壑。

在选址过程中，可能很多分析师都用过POI数据，如上图，客户提出了新的挑战。客户想估算出这个区域里人口的购买力指标，所以想用当前区域里房价来进行折算。但是，这个区域里，只有几个小区有房价数据，剩下的5、6个没有办法填充，造成这个指标一直参差不齐。

客户提出了新的挑战。客户想估算出这个区域里人口的购买力指标，所以想用当前区域里房价来进行折算。但是，这个区域里，只有几个小区有房价数据，剩下的5、6个没有办法填充，造成这个指标一直参差不齐。

所以，数据缺失多、数据精度比较差，无法对商圈进行标准的画像。

大家需要客观接受一个现实，就是这个世界离广泛、真实、准确的数据化，还差的远。在这种条件下，要多个团队（有巨大差异化的同事），进行合作、探索、挖掘数据的价值，就要给出一个有效、标准的框架和解决方案。

这套数字化的方法，让每一个网格都可以有一套标准、通用的标签，可以想象，原来不同团队需要在显示器前，大家一起看地图解决的问题，可以进一步转换成计算机自动进行计算的问题。

数据准备的差不多以后，想标准化评估一个区域，也是很难的，我们看上图，这种打分表，在选址团队中很常用，的确起到了一定作用。但是请注意，这个打分表是很主观的，而且无法精确量化。

所以，评估难，这种打分表，在选址团队中很常用，的确起到了一定作用。但是请注意，这个打分表是很主观的，而且无法精确量化。

选址工作，是该企业成功的一个金钥匙。但是，随着企业的发展想三四线城市发展，如何快速评估一块区域，越来越不能靠调研员各地探访了。客户急需一种标准化的方法，来进行评估度量。前线调研员需要和总部分析师一起，构建起一种沟通和评估的标准，这样，选址调研才能标准化、规模化。

在选址评估上，客户也在转变，从原来的“线下调研员给一个门店，评估一个门店”，转换成“在城市所有网格里”智能搜索出潜在门店的模式。

我们进行门店选址模型探索。产出的模型，在上海市进行搜索，经过现实开店数据验证，在推荐的网点400米内，有80%的可能性有一家在运营的门店。解决进入同类型、同等级新城市冷启动问题。

公式：F(某网格开店成功概率) = 0.14*某网格购物中心个数1.24+0.101*某网格购物中心营业额0.88+0.08*某网格火车站流量1.2+……

个人认为如何高效推进工作的方法总结：

标准化的数据架构（网格）

标准化的内容架构（标签）

标准化的评价架构（算法）

综上，我们了解的选址的案例，那到底什么是“囚徒困境”呢？

囚徒困境是博弈论的非零和博弈中具代表性的例子，反映个人最佳选择并非团体最佳选择。或者说在一个群体中，个人做出理性选择却往往导致集体的非理性。虽然困境本身只属模型性质，但现实中的价格竞争、环境保护等方面，也会频繁出现类似情况。 

正如背景部分描述的，数据工作领域里，数据分析师处于核心地位，在不同组织的协作中，容易出现“囚徒困境”。

几天后，分析师和工程师团队，总算把例行任务上线了，发现数据库性能上不去，工程师提出方案改成Spark执行，但是分析师不会Spark，又要排期。

上面只是罗列了一些“囚徒困境”的实际场景，两个团队之间，在需求沟通、数据质量控制、最终数据加工方案上，很容易遇到各种各样的问题。本质上这些问题就是：技术不懂业务、业务不懂技术，鸡同鸭讲，能讲通吗？那么我们如何走出来呢？

回到现实条件下，客观的看待阿克塞尔罗德的试验，虽然他指出了走出囚徒困境的解法，但是，这个试验的条件相对简单，而且试验的次数可以是几千几万次，而对于现实工作，我们如何在有限条件下走出囚徒困境，是需要各找各的办法的；另外，也要依托一些先进的产品，想办法降低摩擦，找到双方友善、宽容的合作方案，不陷入囚徒困境。

文档，在传播需求，达成共识的过程中，起到非常重要的因素。在数据产品中，文档是一个不太起眼，但是非常重要的环节。它应该有这样的功能：

1.在文档中可以直接嵌入数据，包括数据的链接、字段，可以让读者快速读取数据、字段定义等，当然，最好还能包含数据的作者、业务含义等描述。可以尽量降低沟通的磨蹭。

2.文档需要有版本管理，可以进行对比。数据工作是一项繁琐、严肃的工作，文档随意更改、变更、丢失，对于构建一个完整的数据系统是致命的。

之前在一些群里，看到数据分析师讨论学习哪些技术，比如Spark、SPSS、SAS，我个人觉得这些技术工具值得学，但是更重要的是要从业务的角度入手。

1.数据（商业）分析师的职责，不是和数据工程师抢饭碗，而是帮助老板、企业研究数据，基于数据做决策，因此，更要以业务的视角去理解、使用数据。

2.工程师们，如果只想从事技术工作，需要更好的做好技术性的支撑，例如确保数据系统可靠性、易用性，做好不同系统之间的整合工作。要及时、有效的从搬数据、抽取数据中解放出来。