数据分析即未来

大数据DT

共 5992字,需浏览 12分钟

 ·

2022-04-18 00:40

导读:今天分享一篇我的读书笔记,其中包括我的一些个人思考,文章内容比较长,推荐对数据分析感兴趣的朋友认真阅读,因为认真阅读才会更有收获。


作者 / 来源:林骥(ID:linjiwx)




00 前言

《数据分析即未来》这本书的作者格雷戈里·纳尔逊,是美国 ThotWave 的创始人和 CEO,国际分析研究所的专家,他在数据科学、知识管理和商业分析方面有着丰富的经验和深入的研究,发表了 200 多篇论文和出版物。


这本书出版于 2020 年 6 月,主要围绕数据分析的流程,讲述了企业全生命周期的数据分析应用之道和管理指南。

数据分析的核心工作,是把数据变成有价值信息的过程,从简单的统计报表和数据探索,知道数据指标和关键因素「是什么」,到具体原因的分析,知道数据背后的原因是「为什么」,再到预警、预测和优化的分析,知道下一步应该「怎么办」,从而能够主动做出更加科学的决策。

要成为一名高水平的数据分析师,需要同时具备「懂业务、懂数据、懂分析」三个条件,既要有扎实的数学、统计学、数据分析等基础能力,又要熟悉业务场景和流程,还要有很强的实践能力、创新能力、沟通表达能力和团队合作意识。

业界经验显示,培养一个高水平的数据分析师,平均需要 9 年以上的数据分析实践经验,并且要持续学习新的专业技能和业务相关知识,才能应对快速变化的业务环境。

在大数据时代,数据分析不仅对企业至关重要,对个人也非常重要。我认为每个人无论从事什么职业,都应该具备一些数据分析能力,因为数据分析能够帮助个人获得更快的成长。

比如,我制作的「数据赋能系统」,其实也是数据分析的一种应用,运用数据分析的思维和工具,帮助自己和他人掌控时间、情绪和习惯,从而加速个人的成长。

作为数据分析部门的管理者,对于如何培养和留住优秀的数据分析人才,一直是我比较头疼的问题。我鼓励数据分析师「贴近业务、靠近数据、彼此接近」,帮助他们获得成长,发挥自己的潜能,努力满足业务的需求,解决业务的痛点和难点问题,为业务创造更大的价值。

想方设法让数据分析嵌入到业务流程中去,避免业务部门与数据分析团队之间互相埋怨,产生隔阂,这样才能让数据分析发挥出更大的价值。

我们身处一个数据非常丰富的时代,但真正对自己有效的信息其实是比较匮乏的,因为数据的噪音太多。所以,需要建立一套比较规范的数据收集、数据可视化、数据分析、数据应用的管理流程,有效地通过数据做出科学的决策。

过去,人们对数据分析的理解和应用,往往停留在一些方法论和技术工具的操作层面,比如 Excel、SQL、Python 等技术的具体实现方法。然而,很少有人涉及分析思维模型的开发和应用。

未来,我预计会有越来越多的人认识到数据的价值,看到数据分析的光明前景。希望有越来越多的人能够用数据分析的思维模型来武装自己的大脑,从而做出更加明智的决策。


01 分析概览

数据是真实世界中所发生事情的记录或「模型」,它几乎无处不在,从使用手机,到健康记录,再到购物历史,我们很难想象,一个没有数据的生活将会变成什么样?


我们不仅是数据的制造者,也是数据的消费者。

比如,我记录自己的时间、情绪和习惯,就生成了相应的数据,然后就可以对这些数据进行分析,找到数据背后隐藏的信息,从而做出更好的决策,完成一个从制作数据到消费数据的闭环。

数据分析是用知识创造价值的过程,从分析概念,到分析实践,再到分析成果,数据分析的真正作用是形成可行动的洞察力,从而帮助我们做出科学的决策。

数据分析的目的是为了洞察过去的规律,运用数据分析的思维,结合对业务的理解,通过数据分析的方法和机器学习的算法,预测未来的趋势,从而帮助我们做出正确的决策,采取适当的行动。



02 分析人才

数据分析是一个从是什么,到为什么,再到怎么做的过程,需要不断学习,形成 PDCA 循环,从而优化决策的过程。


数据分析的技能非常庞杂,没有任何人能精通一切分析技能,但人人都可以学习一些简单实用的分析技能,将数据转化为有用的能力,帮助自己做出更好的决策。


衡量数据分析人才,主要包括 4 项能力:技术(如Excel、SQL、Python等)、业务(运营、流程、专业等)、方法(统计、A/B测试、质量提升等)、软技能(沟通表达、分析思维、写作、管理等),其中非技术方面的能力更重要,特别是解决实际问题的能力。


人都是不完美的,研究表明,记忆常常不能真实反映现实,所以及时记录真实的数据,这对于后续的分析非常重要。

一个优秀的分析人才,需要通过不断学习实践系统性思维和批评性思维,养成质疑、勤练、反思的习惯。


03 组织背景

数据分析的目标就像一个灯塔,指引着前进的方向。分析在组织中的作用通常包括:满足领导者的信息需求,通过分析获得竞争优势,利用数据支持决策。


愿景像蓝图,知道未来的样子。战略是行动方案,需要做出权衡,知道将做什么和不做什么。


在数据分析领域,常见的组织架构包括:集中式、分散式、卓越中心式等,不同的组织架构有不同的优点和缺点,但无论如何,分析师都必须与各部门保持深入的联系,以便充分了解他们的需求。

▲集中式

▲分散式

▲卓越中心式

很多公司采用卓越中心式的组织架构,把集中式与分散式相结合,总部构建一个集中的分析职能,拥有全局视角看问题的能力,负责培训、知识管理、流程制定等工作,而其他分析师分布在各业务部门。

多花点时间与业务部门在一起,这是非常有必要的。大约花 20% 的时间和业务部门在一起,以便更加熟悉业务的背景等情况,让自己和做出来的数据分析成果更接地气,更有价值。



04 数据战略

无论是解决问题、做出决策,还是抓住机会、抵御风险,都需要基于事实、依赖数据,并以此分析研究可行的方案。

数据战略作为指导方针,告诉我们应该如何收集、管理、使用、治理哪些数据,需要与业务目标紧密联系。


战略目标是未来 5 年的行动方向,一定要非常清晰,明确范围的边界,发挥独特的优势。


对于数据分析师来说,优势包括分析的复杂度、广度、深度和速度,等等。

实施数据战略包括 6 个阶段:①规划战略、②创建路线图、③协调组织、④执行计划、⑤监控学习、⑥测试适应。

我们可以从重要性、紧迫性、复杂度(深度)、应用范围(宽度)的维度,来综合评估数据分析的成熟度。


一个成熟的分析平台和架构,通常能够权衡任务的重要性和紧迫性,在适当的范围内,处理一些比较复杂的问题,提供一致的、可靠的和有价值的数据流。

正如 Michael Li 所说:复用性、一致性和可生产性,使得数据科学家专注于数据科学本身。


05 生命周期

分析生命周期包括 6 个环节:①定义问题、②识别问题、③探索问题、④分析问题、⑤成果展示、⑥项目实施。


我们关注的重点,通常是解决问题的速度和可解释的价值。


分析的实践领域有很多,包括分析模型开发和成果应用,比如:使用包括数据可视化、描述性和推断性统计分析以及高级分析等技术,通过用数据讲故事的方法,解决现有的问题或预测未来,以及将分析成果应用到业务处理流程中去。

按照投入时间的多少,可以把分析需求分成 4 个类别:

  • 简单的临时需求:数小时
  • 复杂的临时需求:数小时到数天
  • 特殊项目:数周
  • 数据分析产品:数月

数据分析技术的发展日新月异,但是工具层面的应用很容易过时,因此,我认为应该重点培养数据分析的思维、管理和培训能力。



06 问题理解

千万不要提出错误的问题,也不要一开始就进入问题的细枝末节,而要先把问题本身搞清楚。如果你能正确地定义和陈述问题,那么就已经解决了问题的一半。


抓住问题本质的方法:问题是什么?它会影响谁?影响是什么?成功的标准是什么?成功需要满足什么条件?需要哪些依赖关系?有哪些必须遵守的约束条件?

比如,问题是销售目标没有完成,可能会影响公司的每个人,导致奖金减少、甚至裁员等,成功的标准是在解决方案实施后的某个时间之内完成销售目标。

要想获得成功的解决方案,需要先找到问题的根本原因,比如用鱼骨图、树形图等分析工具促进深度思考,先发散,后收敛,帮助我们创造性地解决问题。


07 数据探查

真正的发现之旅,不在于寻找新的陆地,而在于用新的眼光去观察。

在问题理解阶段,先初步探索数据,以便确定问题的大小,支持原因的分析,检验相关的假设,确定方案的价值等。


不要在还没有搞清楚问题之前,就一顿操作猛如虎,那样很有可能是在浪费时间。

通过对问题进行聚焦,收集大约 70% 左右的必要数据,就可以快速决断,避免瞻前顾后。因为如果等着 100% 的数据,那么很有可能贻误战机,失去敏捷性。哪怕是错误的决定,也比没有决定要好得多,因为行动是可以随时调整的。


只有那些有时间深入思考,并且充分全面地探索和分析数据的分析师才能持续取得成功。

把所发生的事情记录下来,这是科学界长久以来的传统,就像早期探险家和太空旅行者记录日志一样,我们也需要记录自己的分析日志。

利用「数据赋能系统」,我把工作和生活中发生的事件和情绪都记录了下来,我认为这个习惯值得长期保持下去。


08 模型开发

虽然我个人比较喜欢分析模型开发,但我也时常提醒自己,不要沉迷于技术,而应将关注点放在如何更好地理解和解决问题上面。

分析的方法和模型太多了,而且还在不断推陈出新,数据挖掘、机器学习、人工智能、运筹学、时间序列分析、文本分析、语音和图像识别等,每个分支可能都有几十上百本书,一个人一辈子恐怕也学不完。

记住:千万不要本末倒置,陷入到分析方法、模型或工具的战术细节,而忘了分析的目标和解决问题的本质。

除了目标思维,对比、细分和溯源也是我们数据分析中常用的思维。比如,我们经常按时间、地点、人物、产品、渠道、价格、促销等维度进行细分和对比,通过追根溯源、A/B 测试、假设检验、相关性统计检验等方法,找到问题的根本原因和关键因素,对未来的趋势进行适当的预测。


下面这个表格总结了分析模型开发的一些实践领域和关键技能,在一段时间内,可以专注某一个细分领域,重点学习和实践相关知识,逐渐提升自己的专业能力。



09 成果应用

在得出分析结果之后,开始用数据讲一个令人信服的故事,最终还要有付诸行动的计划,而不能仅仅停留在纸面上。

变革从来都不是一件容易的事,不要以为人们会自然而然地接受分析的结果,尤其是当分析结果违背人们的自觉,或者要求人们改变行为习惯的时候。

帮助人们为变革做好思想准备,了解变革的逻辑思维和知识,使用能够提升技能的工具,并把知识和工具应用到工作流程和行为习惯中去,这样才能让分析成果发挥出更大的价值。


10 产品管理

解决客户的实际问题,这是一个数据分析产品成功与否的关键。

分析产品管理,是关于业务、分析和产品思维三者交叉点的管理。


构建一个最小可行性产品,删除任何没有直接贡献的功能,尽快开始测试产品的功效,收集和分析相关的反馈数据,实现快速更新,不断优化迭代。


我制作的「数据赋能系统」也属于一个最小可行性产品,先用 Excel 实现最基础的功能,再不断进行更新和优化迭代,提高时间管理的效率和数据分析的效果。


11 付诸行动

分析是一种有效改变行为和抓住机会的策略,能够影响我们工作的方式、做出的决定和取得的成果,把数据驱动的洞察力转化为变革的动力。

比如,现代运动员大多数都会基于自己的历史数据,利用数据分析的方法,有针对性提升自己某方面的运动能力。

我考虑建立一种优秀员工的模型,用来发现、挖掘、识别、培训、培养、任用、提拔有潜力的优秀员工,看到他们身上的特点和规律,让他们有动力和能力去发挥自己的潜能,通过做正确的事,扬长避短,从而取得更好的成果,创造更大的价值。

在效率与效果之间取得平衡,用正确的方式,做正确的事。相对而言,效果更重要,千万不要高效率地做错误的事。所以,在做事之前,先明确目标和方向,这一点尤为重要。


高效能人士做事的效率通常都比较高,但反之则不成立,有很多人做事的效率很高,然而并没有做出有效的成果。

把分析付诸行动,这是一个巨大的挑战,因为在知道与做到之间存在巨大的鸿沟,需要不断去尝试克服很多障碍,但是一旦真正做到了,那么行动也将带来巨大的收益。



12 胜任能力

胜任数据分析的核心能力,包括高效完成分析工作所需要的知识、技能、能力和性格等,能够将数据转化为可执行的业务干预措施,让业务变得更好。


要掌握数据分析的知识和技能,需要持续不断地学习,否则将难以胜任其工作,因为技术发展和社会环境的变化都是非常快的。

传统的分析技能更多是分析工具的应用,比如 Excel、SQL、SAS 等,而现代要胜任数据分析工作,不仅要懂业务,而且要有数据分析的思维,还有新的分析工具不断出现,比如 Python、BI 软件等。



13 未来趋势

我非常看好数据分析的未来,因为数据分析能满足人们追根溯源的好奇心,能解决现实中的很多难题,能促进个人的成长,能提升企业的业绩,能增强国家的竞争力,能让世界变得更美好……

对企业而言,数据分析可能会涉及到企业经营的很多方面,包括战略、数据、技术、流程、人员,等等。随着技术的进步,数据分析的难度将会不断降低。

我们每个人都可以从简单的数据记录开始,经过日积月累,形成自己的个人大数据。

如果你能从个人大数据中挖掘出一些有用的信息,形成一套有效的个人成长体系,那么将能成为一个更有智慧的人,一个洞察先机的人,一个能用数据为自己赋能的人。

有研究表明,未来 10 年,人工智能预计将取代目前 50% 的工作,但那些拥有解决问题的能力、并善于换位思考的数据达人将会脱颖而出。


最后的话

以上,就是我读完《数据分析即未来》之后,写的一些读书笔记和个人思考。

这本书介绍了数据分析的全生命周期和应用流程,是一本侧重于介绍「为什么」和「是什么」的参考书,而不是一本介绍「如何做」的工具书,比较适合领导者、决策者、分析团队和有抱负的数据倡导者,比如首席数据官、数据科学家、数据分析师、量化专家、产品经理、项目经理、团队负责人等。

每个人都是自己人生的 CEO,要想经营好自己的人生,就需要掌握一些基本的数据分析思维。

如果一个人能够学会应用数据分析的技能,主动适应新的环境,从长远的目标来考虑问题,并且对自己的选择负责,做出更加明智的决策,那么未来将会成为一个更靠谱的人。


延伸阅读👇


延伸阅读数据分析即未来

干货直达👇



更多精彩👇

在公众号对话框输入以下关键词
查看更多优质内容!

读书 | 书单 | 干货 | 讲明白 | 神操作 | 手把手
大数据 | 云计算 | 数据库 | Python | 爬虫 | 可视化
AI | 人工智能 | 机器学习 | 深度学习 | NLP
5G | 中台 | 用户画像 数学 | 算法 数字孪生

据统计,99%的大咖都关注了这个公众号
👇
浏览 5
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报