↓推荐关注↓

会上探讨了一系列热门话题，包括大模型发展趋势、算法落地实践、面经总结，以及如何做好面试准备和应对常见考点。

基于经验交流与实战经验，我们总结如下：

《机器学习算法面试宝典》1.0 发布！

今天我来分享一位我们社群成员的校招面经总结，内容写的比较齐全。

喜欢记得收藏、点赞、关注，更多技术交流，文末加入我们社群。

背景：女生，top985 CS本硕，研究生的方向偏向于NLP/搜索推荐，秋招拿了阿里、百度、联想等offer，最终决定去阿里了。

今年校招太难了，互联网大厂更是几乎不招人，面试前我已在星球社群半年有余，面试前做了很多准备，同时感谢社群中大佬的无私帮助。

面试过程中大概记录和整理面试问的高频问题，分享给大家，希望能够对各位有所帮助～

我的最大感觉，就是面试题特别的新，大模型相关的内容也会经常出现，难度略有差异，祝大家收获心仪的offer！

机器学习

SVM 原理

1. SVM原理介绍
2. 为什么激活函数用sigmoid?
3. 为什么损失函数用交叉熵? (两个角度: 极大似然估计、KL散度)
4. 交叉熵公式推导

LR 逻辑回归

1. 原理介绍
2. 为什么激活函数用sigmoid?
3. 为什么损失函数用交叉熵?

集成学习

1. Bagging和boosting的区别(样本选择上、样例权重组、预测函数、并行计算、方差偏分解)
2. 随机森林、GBDT、XGBoost、LightGBM等模型介绍和优缺点
3. GBDT如何做分类?

决策树

1. 常见的树模型及其简介
2. 各种生成和剪枝方法

EM 算法

1. 算法原理
2. 收敛性：EM是局部最优还是全局最优？

过拟合

1. 解决过拟合的方法（正则化、BatchNorm和LayerNorm、Dropout、增加训练数据、数据增强、标签平滑、引入先验知识、交叉验证、预训练等）
2. Dropout为什么可以解决过拟合？

方差偏差分解

1. 解释什么是方差什么是偏差
2. 为什么bagging降低方差（偏差不变），而boosting降低偏差？
3. 公式推导

归一化

1. 为什么要归一化
2. 各种归一化的区别和优缺点
3. 为什么 NLP 不用 BatchNorm？*出现频率极高

正则化

1. L1 和 L2 正则化怎么做
2. L1 和 L2 分别会有什么现象，代表什么先验分布

初始化

1. 不同网络的初始化有什么区别？
2. 神经网络隐层可以全部初始化为 0 吗？

激活函数

1. 优缺点
2. sigmoid、tanh、relu、gelu 的区别

损失函数

1. 二分类的损失函数
2. 为什么分类不用 MSE？

信息论

1. 信息熵、条件熵、联合熵、相对熵、互信息的概念
2. 交叉熵和 KL 散度的区别

样本不均衡

(降/过采样，带权重的 loss)

数据预处理

(离散特征和连续特征)

梯度消失和梯度爆炸

1. 梯度消失和梯度爆炸的原因
2. 处理方法

优化器

1. 原理、发展过程、公式、公式符号的意思
2. SGD、AdaGrad、RMSProp、AdaDelta、Adam、AdamW
3. 从 SGM 到 Adam 做了哪些改进 (自适应的学习率、动量)
4. Adam 和 AdamW 有什么区别

评价指标

1. Acc、Precision、Recall、F1、ROC、AUC
2. AUC 为什么好，工业界为什么选择用 AUC
3. 代码实现 AUC，需要写出工业界的实现方案

深度学习

BERT 和 Transformer

1. 简单介绍一下 BERT/Transformer

2. BERT 的两个训练任务是什么？(MLM 和 Next Sentence Prediction)

3. BERT 的优化器(AdamW)？和 Adam 的区别？

4. Attention 和 self-attention 有什么区别？

5. Self-attention 的公式、计算过程 *出现频率极高

6. 多头的意义，多注意力会增加模型的计算时间吗

7. Transformer 的复杂度

8. 对比 LSTM、CNN 和 Transformer，Transformer 的优点是什么(上下文感知、并行处理)

9. BERT 中如何解决 OOV(Out of Vocabulary)

大模型

1. 讲一下GPT系列模型是如何演进的？
2. 为什么现在的大模型大多是decoder-only的架构？
3. 讲一下生成式语言模型的工作机理
4. 哪些因素会导致LLM的偏见？
5. LLM中的因果语言建模与掩码语言建模有什么区别？
6. 如何减轻LLM中的幻觉现象？
7. 解释ChatGPT的零样本和少样本学习的概念
8. 你了解大型语言模型中的哪些分词技术？
9. 如何评估大语言模型（LLMs）的性能？
10. 如何缓解LLMs复读机问题？

- EOF -

星球服务

知识星球是一个面向 全体学生和在职人员 的技术交流平台，旨在为大家提供社招/校招准备攻略、面试题库、面试经验、学习路线、求职答疑、项目实战案例、内推机会等内容，帮你快速成长、告别迷茫。

涉及Python，数据分析，数据挖掘，机器学习，深度学习，大数据，搜光推、自然语言处理、计算机视觉、web 开发、大模型、多模态、Langchain、扩散模型、知识图谱等方向。

我们会不定期开展知识星球立减优惠活动，加入星球前可以添加城哥微信：dkl88191，咨询详情。

技术学习资料如下，星球成员可免费获取2个，非星球成员，添加城哥微信：dkl88191，可以单独购买。