深圳公司大数据面试题汇总

程序源代码

共 2603字，需浏览 6分钟

· 2021-01-15

点击上方 "大数据肌肉猿"关注, 星标一起成长

后台回复【加群】，进入高质量学习交流群

2021年大数据肌肉猿公众号奖励制度

相关阅读：

上海小公司大数据面试题汇总

背景

本文为#峰哥读者从设计转行外包数仓，再跳槽到甲方做大数据开发#整理的面试题，他面过深圳大部分的外包和甲方公司，整理了一些面试题，希望能带给大家一些帮助。

大数据组件技术面试

hadoop框架

1.hdfs的读写基本不问,但是还是要知道

2.mapjoin的原理

3.hadoop的shuffle原理也没问,也要知道

4.你在工作中的hadoop的小文件处理,结合项目进行说明

5.hadoop常用的端口号,mapreduce过程发生了几次排序

6.yarn提交job的流程

7.yarn的调度器选择,工作中怎么选择调度器的

8.hadoop的优化

9.zookeeper的选举机制

hive框架

10.hive的架构以及hive是怎么解析成mr的,说下即可

11.hive和数据库的比较,有哪些区别

从数据的存储,底层的原理,语法的不同,分析业务的不同,具体的业务场景以及各自的优化(就说了这些,其他的没有问我了)

12.hive的优化,分区,分桶

13.4个排序的区别

14.hive工作中常用的函数

15.怎么自定义udf函数

16.hive导入数据的几种方式

17.hive导出数据的几种方式

flume框架

1.flume的组件

2.flume怎么采集数据的

3.flume怎么自定义拦截器

4.flume的数据积压,回答分区和提交拉取批数(实际工作中怎么提高拉取数的,举例说明)

5.flume如何支持断点续传

flume最新的版本有tail sources (你要去了解配置的过程)

kafka框架

1.kafka消息不丢失机制

这个问题从两个方面讲一般没问题 1.从kafka0.8版本和kafka0.10版本讲各自偏移量的一个位置 2.kafka的ack机制

2.kafka副本机制

3.项目中kafka的topic设置

4.kafka挂掉怎么解决

5.kafka分区策略

6.kafka重平衡机制

hbase框架

1.hbase机构必须了解

2.hbase的读写流程

3.rowkey的设计(项目中如何设计,为什么要这样设计)

4.hbase是怎么将数据保存到hdfs的

具体是怎么刷写到hdfs的

5.hbase的二级索引是怎么实现的

6.hbase的小文件太多怎么处理的

7.hbase的高水位机制

scala语言

1.scala中class与case class区别

2.scala的柯里化

3.scala闭包如何理解的

4.scala高阶函数(必须会,这块问的最多)

spark框架

1.spark作业提交流程

2.spark中的rdd特点,说下你分别是怎么理解的

3.spark的部署模式

4.宽依赖和窄依赖

5.spark的shuffle与hadoop的shuffle有什么区别

6.saprk广播变量

7.spark的调优(调优结合工作中的项目来说)

8.saprksql与hivesql有什么区别

9.sparkstreaming消费kafka的两种api

10.saprkstreaming：

你在工作中消费kafka数据如何保证数据的不丢失和只消费一次(这块工作中无法保证数据的重复消费)

重复消费:官网解释是有三个条件 1.采用kafka数据源 2.采用rdd 3.幂等性或者事务约束事务是把提交偏移量和写数据搞成事务,做到两个成功才算成功,这个是我之前看spark官网看到的,说出这个就不会再问你了

11.手写saprk的wordcount程序

12.saprk提交作业的参数有哪些,工作中如何设置参数的

java技术面试知识点

1.hashmap和hashtab的区别

2.多线程用过吗,用过多线程的三方框架吗,多线程实现的方式

3.gc回收算法,每个算法的场景,各自由什么优点与缺点

4.jvm是怎么实现跨平台的

5.jvm调优

6.手写冒泡排序,归并排序,快速排序,选择排序以及希尔排序(具体可以百度十大排序算法,这个必须要会)

7.手写单例模式的懒汉和恶汉模式

8.项目中有没有高并发场景,如果有怎么做的,没有的话谈谈你对高并发的一个理解

9.还有其他的源码就不会问了,因为我之前工作是接触源码比较多,基本上都是基于源码的开发,所以问的多

10.关于集合的线程安全看看

项目面试

1.数据量多大

2.数据的峰值多少

3.项目的难点这块简历一定要体现,建议直接百度护着谷歌去搜索什么技术的项目难点,试着把你的项目运用上去

4.集群的配置情况,你如果说你会saprk 集群的内存必须要去了解的,因为spark涉及到调优,你不了解内存啥的没有人会信你的调优的

5.你不了解的技术千万不要写上去,不然你会很难受的,尽量挑选自己掌握特别好的,关于怎么转到大数据的,这点非常重要,如果说你之前实习做的java转到大数据的,面试官会问你java的知识点,因为你项目没有写java,面试官会认为你怕问java,一般什么不会就问哪个

6.你怎么转到大数据这个行业的,这个关系到是否会问你java的问题,建议自己想个理由

7.关于简历问题:简历上的每个项目建议多想几个项目难点,因为真正开发过程中是不可能没有遇到问题的(这个合理的话会有加分项的)

8.项目的架构以及流程图必须要会画

9.技巧:

1.一般面试官问你很多理论,项目问的特别少的话,说明他知道你是什么情况,说明你只要符合要求就能入职

2.如果面试官一直问项目就说明,他们这个项目很急或者是急着找人,一进去就能干活的这种,这时就要问你项目的细节,判断你是否真的做过,是否来了后能马上开始做项目

·················END·················

你好，我是峰哥，一个骚气的肌肉男。

二本车辆工程转型大数据开发，拿过66个大数据offer。

毕业一年，完全靠自己在上海买房，点此看我2020年总结。

同时，我独自穷游过15个国家，60座城市，还是一位拥有国家教练资格证的健美选手。

不定时在朋友圈更新健身、旅行、技术感悟，欢迎添加我的微信 Fawn0504 一起交流进步。

图片

表情

CVPR 2024｜大视觉模型的开山之作！无需任何语言数据即可打造大视觉模型

↑ 点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读本文提出一种序列建模 (sequential modeling) 的方法，不使用任何语言数据，训练大视觉模型。>>加入极市CV技术交流群，走在计算机视觉的最前沿本文目录1 序列建模打造大视觉模型(来自 U

极市平台

人工智能周刊#18：微软发布手机端大模型、Llama 3 中文模型列表、苹果开源新项目、

主打尊重隐私的搜索引擎 duckduckgo，也推出了 ai chat 服务，可以使用 chatgpt 或者 claude机器学习周刊：关注 Python、机器学习、深度学习、大模型等硬核技术本期目录：1、Qwen1.5-110B：Qwen1.5 系列的首个千亿参数开源模型2、苹果开源

机器学习算法与Python实战

中国人民大学《大语言模型》书籍中文版开放下载！还配套代码工具库~

大语言模型综述文章《A Survey of Large Language Models》团队终于出书啦！而且是中文版——《大语言模型》！这本书整理呈现了大模型技术框架和路线图，是一本非常好的入门书籍。🧿🧿🧿 此外，官方不仅发布了电子版 PDF 下载链接，还提供了配套资源。点赞 👍图书下载 → [大

机器学习算法与Python实战

Datawhale来“瓜大”（西工大🫡）啦！

Datawhale线下主办方：Datawhale团队西北工业大学（Northwestern Polytechnical University）简称“西工大”，位于陕西省会西安市，直属中华人民共和国工业和信息化部，是中国唯一一所以同时发展航空、航天、航海（三航）工程教育和科学研

Datawhale

让扩散模型听话的小秘籍？CAN：通过操控权重来控制条件生成模型，图像生成效率大升级！

↑ 点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读本文提出的 CAN 模型 (Condition-Aware Neural Network) 是一种对图像生成模型添加控制的方法。CAN 可以通过动态操纵神经网络的权重来控制图像生成过程。作者在 ImageNet 图像

极市平台

突发！特斯拉大裁员，毁约应届生offer！

4月24日消息，特斯拉公司近期在全球范围内进行裁员，同时取消了许多应届毕业生的工作邀约（Offer），这一行为引起了广泛的讨论和关注。有不少网友在社交平台发帖称“特斯拉毁约应届生”，还有网友表示：还没上班就被公司单方面违约，感谢特斯拉让应届大学生真正做到了毕业即失业……还有网友发帖求职，在春招都快结

码农突围

慌了，小道消息听说公司又要裁员···

大家好，我是轩辕。最近跟一位大厂朋友吃饭，听他说，他从小道消息得知，公司又要裁员了，但不知道自己在不在这批名单里。这种感受犹如在自己头顶悬了一把剑，不知道什么时候将要落下。因为自己30好几了，要是这个年纪被裁，真不知道下面要去哪里了。言语中透着浓浓的无奈感。关于这个问题，我有两个方面的看法。第一，永

编程技术宇宙

为什么我们公司还在用 Python 开发项目?

作者：哇哒嘻哇https://www.zhihu.com/question/278798145/answer/3416549119最近几年里，经常看到某些曾重度使用 Python 的大公司迁移成其它语言技术栈，但是，那些小公司/小团队的情况如何呢？一直很想了解那些仍在坚持使用 Python，且支撑业

机器学习算法与Python实战

李彦宏：开源大模型不如闭源，后者会持续领先；周鸿祎：“开源不如闭源” 的言论是胡说八道

架构师大咖架构师大咖，打造有价值的架构师交流平台。分享架构师干货、教程、课程、资讯。架构师大咖，每日推送。公众号该公众号已被封禁0、李彦宏：开源大模型不如闭源，后者会持续领先当今

源码共读

35K*14 薪入职了，这公司只要不裁员，我能一直呆下去。。

大家好，我是R哥。说说最近的面试辅导，有个学员进了某个知名互联网公司，拿到了 35K*14 薪的好成绩，有不少粉丝留言问我，现在行情这么差，他是怎么做到的？这篇拿他这个案例完整回顾一下吧，我管他叫小Y吧。背景沟通说下小Y的基本情况吧：小Y工作 5 年+，空窗期2个月+，5 年干了 3 家单位，学历不

Java技术栈