如何系统的学习 Elasticsearch ?
这是上一次技术直播里六个子主题中的最后一个主题的扩展版本。近期又有读者问到类似问题,我认为非常有必要花长时间梳理后跟大家分享一下。
1、基础篇:零基础如何学 Elasticsearch ?
常见问题:“ES 零基础入门书籍看什么比较好?”
认知前提:书籍的速度已远落后于 ES 版本更新的速度。ES 几乎每个月发布一个版本,更新很快。
市面上的书籍,尤其国外翻译书籍还大多是:1.x,2.x,5.x ,6.x 的版本,更新较慢。
有几本7.X的书籍,我没有买实体书,不太有发言权。不过:1.X——6.X全部实体书我都买了,也都看完了,可以说有发言权。
相比于实体书籍,我更推荐官方文档,但鉴于“零基础”读者对英文的恐惧,书籍、视频、学习路线等推荐列表如下:
1.1 零基础书籍推荐
推荐1:《这就是搜索引擎》
这是一本介绍搜索引擎原理的书,有了搜索引擎原理的认知再去理解 Elasticsearch 会有“居高临下”俯视的感觉。
推荐理由 1:长销书(比畅销书高一个level)、作者是中科院软件所博士、包含大量图解、通俗易懂。 推荐理由 2:貌似在 medcl 大神(Elasti中文社区创始人、Elastic中国第1位员工) 书架也有这本书。
推荐 2:《Elasticsearch 权威指南》2.X 中文翻译电子书
地址如下:
https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html
推荐理由 1:虽然基于 2.X,但底层原理的介绍并不过时,值得一看。 推荐理由 2:wood大叔(携程架构师、Elastic 中文社区排名第1名)也曾经多次推荐且他看过2遍以上+。
推荐 3:《Elasticsearch 实战》纸质书
这本书是《Elasticsearch IN ACTION》 的翻译版本。
推荐理由 1:作者之一已入职 Elasticsearch。 推荐理由 2:翻译作者是极客时间数学课的作者:黄申博士,翻译还可以,至少比《 Lucene 实战 》翻译好 100 倍。 推荐理由 3:这本书是 Medcl 大神写的序。
推荐4:结合 ECE 考纲、《Elasticsearch 最少必要知识》电子教程啃官方文档。
《Elasticsearch 最少必要知识》 地址:
https://www.yuque.com/deep_elasticsearch/tzcm9n
推荐理由 1:ECE 认证考试是以考带练,入门学习和进阶的绝佳方式,没有之一。 推荐理由 2:单独看官方文档不知道重点,而 ECE 考纲就是重点。 推荐理由 3:单独看官方文档 + ECE大纲没有头绪,《Elasticsearch 最少必要知识》帮梳理清楚了。
1.2 零基础入门视频教程推荐
推荐 1:阮一鸣老师 7.1+ 极客时间视频
地址:https://time.geekbang.org/course/intro/100030501
推荐 2:魏彬老师慕课网的视频(6.X 版本)
地址:https://coding.imooc.com/class/181.html
推荐 3:李猛老师视频课程(最新版本)
地址:https://www.gupaoedu.cn/course-es.html
推荐 4:中华石杉老师的 2.X 视频教程
地址:https://www.roncoo.com/view/80
推荐 5:死磕 Elasticsearch 最少必要知识系列直播(7.x + 版本,推进中)
地址:http://t.cn/RmwM3N9
因为每个人的“口味”不同,正所谓“众口难调”,再好口碑的课程也有人觉得“鸡肋”。
所以,上面列举了几乎所有 Elasticsearch 视频教程,总有适合你的一款。
1.3 “零基础”是相对的、不要怕!
所谓“零基础”,Mysql 数据库的一些常规操作基础是有的吧?
推荐结合已有知识体系,类比学习:
MySQL | ElasticSearch |
---|---|
Table | Index |
Table | Type |
Row | Document |
Column | Field |
Schema | Mapping |
Index | Everything is indexed |
SQL | Query DSL |
select * from … | GET http://… |
update table set … | POST http://… |
group by、avg、sum | Aggregations |
去重 distinct | cardinality |
数据迁移 | reindex |
通过类比:就可以由已有认知过度到未知认知,便于快速习得技能。
建议把基础内容分为两部分,
part 1:增删改查
这一部分相对好理解,或者可以借助已有知识体系类比加深理解。
进一步细分为:
索引的增删改查
文档的增删改查
Mapping 的增删改查
template 的增删改查
......
这些知识有了,基本的操作基本都经过手了。
part 2:非增删改查
进一步细分为:
数据预处理 Ingest
自定义分词
检索分类
聚合分类
节点角色分类
集群备份与快照
集群安全
跨集群部署
冷热集群架构
跨机房跨机架检索
......
有了上面的分类,一个知识点一个知识点的攻克就可以了。
1.4 形成自己的学习路线图
我之前梳理的学习路线图如下:
学习路线因人而异,上面的路线图仅供参考。
需要结合自己的实践和认知,找到属于自己的一条学习路线。
1.5 “零基础”学习方法论——光看不够,搭建环境 + 练起来更重要!
书籍和视频一个道理,看再多不如练习一遍。
这里强调的练:是《刻意练习》书籍中推崇的概念“练习”的练,不是盲目的练习、而是有目的、有目标的刻意练习。
你看星球考过的 46 位认证工程师,都是刻意练习 + 对官方文档非常熟练的结果。
最简单、最轻量化的方式:搭建好环境(单节点 Elasticsearch + kibana),用 kibana 自带的三个示例数据就可以练习起来。
部署方式一:如果 PC 内存足够,搭建个虚拟机就可以开搞了。
部署方式二:如果对 docker 很熟悉,docker 部署 ELK 也非常快。
部署方式三:一、二都不喜欢,自己买个云服务器(最少2核4G)就够了。
结合自己的需求,用自己最擅长的方式。
以上,期望有助于你快速入门!
2、进阶篇:实践加深认知
基础篇强调练起来。进阶篇会进一步强调“练”的重要性。
2.1 刻意学习一遍官方文档
程序猿DD大佬说过:要切实的落实某个框架,全面了解和掌握的方式永远都是“官方文档 + 学会读源代码”。
是的,如果说入门我们可以看博客、看视频,站在别人“肩上”走的更快。那么进阶的话,系统的过一遍官方文档就很有必要了。
如果感觉上来就全英文有些吃力,可以 7.X 最新版本的英文结合 2.X 中文文档一起来看。
如果感觉吃力,可以看一下技术博客资源:
2.2 实战中刻意练习
在产品或项目架构、开发、运维的过程中,遇到问题,不要仅局限在解决问题本身,多刨根问底,问问底层原理是什么?
举例 1:range query 对数值类型还是 keyword 类型来讲,哪种数据类型会更快? 举例 2:index sort 真的很快吗?适用于什么场景?底层是如何实现的?
2.3 上学下帮的练习
社区中每天都有来自全国 N 多公司线上实战问题,看看别人都遇到了哪些问题?用了哪些技术栈?
国内Elastic社区地址:https://elasticsearch.cn/
2.3.1 向上学
向比自己厉害的人学习。
社区社群中有大量的大牛,即便很“偏门”、“刁钻”的问题也能有非常独到的见解和思路,这就很值得我们去学习。
学习什么?
学习他们拆解问题、分析问题、定位问题以及解决问题的思路。
2.3.2 向下帮
帮助需要帮助的人,大家都有知识盲区。帮助别人的同时个人也能得到飞速的提升。
正所谓:“讲一遍有一遍的收货”。
对于求助人来说,“能把问题讲清楚、问题就解决了一大半”。
而对于解答者来说:“输出倒逼输入,帮助别人排查问题,本质就是进一步提升自己的认知”。别的不说,社区 wood 大叔的文章基本就是解决自己或者别人问题而累积的干货,对 Elastic 学习者来说大有裨益。
你有一个苹果,我有一个橘子,我们一交换,每个人得到的都是两种不同味道的水果。
你知道一个知识点,我知道另外一个知识点,我们一交换,每个人得到的是两个不同的知识点,甚至有可能扩展彼此的认知边界。
不要忽视“重复的力量”,举个例子:“小朋友听儿歌,基本2-3遍+就能跟着哼出相应的语调”,这就是听的多、重复的次数多的原因。一样的,我们给别人讲解的多了之后,自己记忆的会越来越牢固。
2.4 逐步构建属于自己的知识体系
经常收到的问题是:“知识不成体系,学的东西都很散,不用就忘记了”。
是这样的,现在网络资源非常多,甚至适合上手的项目、源码都是开源的,所以上手不是难事。
遇到问题就去通过搜索引擎检索答案本也无可厚非,但是看到的内容、学到的内容永远不是全貌。
所谓“只见树木、不见森林”大抵也是这个意思。
举个实战例子:
模板 template 在数据量不大、索引不多的情况下根本用不到。
由于我们的思维惯性,会一直认为创建索引、指定 Mapping 顺理成章。
当遇到海量数据的时候,可以通过脚本创建Mapping。项目结束或者其他什么时间,才发现有template。最后慨叹:“早知道有template,我就不用维护那么多脚本了”。
Ingest 数据预处理,在写入前处理数据的妙处,用过才知道很爽、很方便!
同样是思维惯性,不知道 Ingest 的话,总感觉数据处理的操作属于前置 ETL 的环节,于是自己写代码实现:数据字段的拆解、截取、更换字段名等操作。
实际上,这些操作用 ingest 几行语句就能快速搞定。
知识体系的梳理,我推荐用脑图,定期的把一些零散的知识点画一画。比如如下的几个点细分知识点非常琐碎,需要自己梳理建立完整体系认知。
Elasticsearch 全景技术体系脑图
画的多了,就形成了自己的知识体系。
如下视频是我用 30 + 分钟的时间徒手敲了《Elasticsearch 最少必要知识》的核心知识点,这也是当前 Elastic 认证考试考纲的全部知识点。
2.5 以考带练
可以考虑参加 Elastic 认证考试,通过以考代练的方式,强迫自己夯实基本功。
之前分享过认证考试的文章比较多,不再赘述。
对认证感兴趣的推荐阅读:
如下是 BAT 大佬对认证工程师的评价,至少在你简历不那么出彩的时候,认证工程师算是一个简历的亮点。
有了这个亮点,入大厂的敲门砖才更有力!
死磕 Elasticsearch 知识星球已通过 46 位 认证工程师(截止 2021年3月11日),其中三位拿到了大厂高薪 offer:
微软 offer 阿里 offer 拼多多 offer
以上,通过进一步的刻意练习,助力构建知识体系,期望有助于你快速进阶!
3、源码原理篇:掌握本质,一通百通
目前来看只有互联网大厂才会做 Elasticsearch 内核级别优化,所以大厂面试的第一个问题通常是:“有没有看过 Elasticsearch 源码?”。然后再问一些底层原理、优化等实战问题。
PS 补充一点:大厂必然会问基础算法,建议提前力扣刷题备战。
单纯的读源码容易碰壁、经常会是“一头雾水、不知所云”。所以建议结合实战问题,带着问题看源码。
也推荐开发一款 Elasticsearch 插件,开发的过程加强对 Elasticsearch 代码和接入逻辑的认知。
3.1 推荐1:张超老师的《Elasticsearch源码解析与优化实战》书
推荐原因:市面上写Elasticsearch 源码的唯一一本书,豆瓣评分7.5+。 推荐原因2:我请过张超老师做过一次技术分享,球友们都一致反馈他研究的很深。
结合源码解读书,有必要的时候再去翻源码,这样学习相对更快,至少有了脉络可循、能少走弯路。
3.2 推荐2:《Lucene 实战》
Elasticsearch 底层是 Lucene,掌握 Lucene 的原理对于理解Elasticseach 非常有帮助。
翻译实在不敢恭维,但貌似实体Lucene 书实在是稀缺,可以大致看一下。
3.3 推荐3:《Lucene 原理与代码分析完整版》电子书
以上,期望有助于你理解底层原理!
4、系统学习的误区
4.1 买课内卷化
开工忙非常理解。但是,买课的目的得进一步明确:0.1元课、1元课、9.9元课、19.9元课等都非常多,各大机构竞争已经出现了白热化。我自己也帮推课,站在 IT 培训公司 或者 IT 知识付费公司推广的角度能理解,吸引用户无可厚非。
但,之前咱们也强调过,买课不是目的,和买书一个道理,再直白点说:
买了书不看和买了课不看,是一模一样的逻辑。
买的时候心里是这样的:
X 天掌握一门技能,太牛逼了。 X 天后,我就成大牛了。 X 天后,我就建立完整知识体系了。 我擦,业界大佬的课,得学啊! 我擦,群里球友或身边同事都买了,我也得买啊。 我擦,买它买它买它。。。。
买了那一刻瞬间的感觉,很舒服、很踏实、仿佛产生了中彩票的幻觉。
但是,买完之后没多久呢?
XXX,你的bug,过来看一下。 XXX,年度规划会议,记得参加。 XXX,产品需求讨论会议,记得参加。 XXX,架构选型会议,记得参加。 XXX,开发问题讨论、敲代码。。。 XXX,不行,今天任务还没完成,加班中。。。
如此反复,进入了 996 的死循环。
几天后,或者几十天后,又发现课程推广广告,哎,我不是买过这门课,我擦,忘记听了、忘记学了。
课不在多,能学才灵!
课不在多,够练就行!
练起来比买起来更重要。
买不可怕,买了不学才可怕!
学不可怕,学了不练才可怕!
练不可怕,练了不用才可怕!
4.2 注意力分散
我多次引用过李笑来的话:注意力 > 时间 > 金钱。
真的是这样——你的注意力在哪里?你的成就就在哪里!
过年的时候跟朋友聊天提到了读书的问题,“不怕你笑话,我好几年没有读过一本书了”。
我是非常能理解的,工作之后加上结婚有了孩子之后,时间真的是很散的,如果工作是996的话,没时间读书真的是很务实的一句话。
要注意的是:正如罗胖所说的——“国民总时间”是恒定的。
如果不读书,工作、生活或者其他方面有所专长足以养家糊口、家庭富足无可厚非。但,怕就怕把相对仅有的稀缺的休闲时间用在了:刷视频、刷新闻上。
即便我能坚持写博客,但我始终认为我的自制力很差,容易刷视频上瘾。之前采取暴力的方式卸载掉APP,实际上不能本质解决问题。
现在缓和的解决方案,给自己休闲(刷视频、刷新闻)定个时间,过了点就得干正事:读书、学习、实践等。
并且,效果不好的话,一言不合我就会打卡学习,通过打卡一句话总结每天干的事情,很笨但很有效。
推荐阅读:打卡学习——应对焦虑的一剂良方!
最后,我想说:把注意力集中在长期的、有意义的事情上。越集中、越幸运!
5、小结
说是系统的学,不知道大家看完了感觉是怎么样的?够不够系统?
没有普适的方法,大家结合自己的实际业务不断刻意练习,找到属于自己的方法论才是王道!
毕竟是一家之言,如果有不对的地方,欢迎指正。也欢迎大家留言交流学习心得、方法等。
推荐:
中国最大的 Elastic 非官方公众号
点击查看“阅读原文”,更短时间更快习得更多干货。和全球 1000 位+ Elastic 爱好者(含中国 50%+ Elastic 认证工程师)一起每日精进 ELK 技能!