AIMLInterviews:面向 AI/ML 技术面试的系统化备战指南与 MCP 智能陪练实战
AIMLInterviews:面向 AI/ML 技术面试的系统化备战指南与 MCP 智能陪练实战
本指南以 README.md 为骨架,系统梳理 AIMLInterviews 仓库针对 AI/ML 技术面试(尤其 FAANG 级别岗位)的六大核心面试模块:通用编码(DSA)、ML 编码、ML 基础知识广度、ML/GenAI 系统设计、Agentic AI 系统与行为面试;并详解如何将仓库课程体系接入 MCP 生态,把任意 MCP 兼容的 AI 助手变成"防剧透"的 AI/ML 面试教练。读完本文,你将掌握该课程体系的章节导航、每类面试的准备方法与核心考点清单,并能在本地一键启动
aimlinterviews-mcp进行题目检索、渐进式提示与答案复盘。
1. 仓库定位:一份以实战为导向的面试备战地图
AIMLInterviews 是一个面向 AI 与 ML 技术面试的开源指南仓库,目标读者是投递大厂(特别是 FAANG)相关岗位的候选人。仓库基于作者本人的面试经历整理:作者在 2020 年同时收获 Meta(ML Specialist)、Google(ML Engineer)、Amazon(Applied Scientist)、Apple(Applied Scientist)与 Roku(ML Engineer)五份 offer,并于 2025 年再次获得 Amazon 与 Apple(AI Tech Lead)的 offer(见 README.md)。
仓库核心观点有三条(README.md):
- 面试是一项可训练的技能("Interviewing is a skill and the more skillful you are, the better the results will be")。
- 不同公司的 AI/ML 面试结构并不完全统一,但 FAANG 大厂之间各轮次高度相似;初创公司往往围绕自身业务场景出题,大厂则更遵循一致的结构(README.md)。
- 本指南主要面向 AI/ML 工程、Applied Science、技术负责人等岗位,Data Science、Research Scientist 等岗位结构不同,但部分模块同样适用(README.md)。
2. 六大章节:AI/ML 面试的完整模块地图
README 用一张章节表(README.md)定义了仓库的课程骨架,共 6 个章节加 1 个资源页与 1 个 AI 教练工具:
| 章节 | 主题 | 入口文档 |
|---|---|---|
| Chapter 1 | 通用编码——数据结构与算法(DSA) | src/lc-coding.md |
| Chapter 2 | ML 编码 | src/MLC/ml-coding.md |
| Chapter 3 | ML 基础广度(经典 ML、LLM、多模态等) | src/ml-fundamental.md |
| Chapter 4 | ML / GenAI / LLM 系统设计 | src/MLSD/ml-system-design.md |
| Chapter 5 | Agentic AI 系统 | 关联外部仓库 Agentic-AI-Systems |
| Chapter 6 | 行为面试 | src/behavior.md |
| Resources | GenAI 学习资源 | src/genai-resources.md |
| AI Tutor | AIMLInterviews MCP Server | MCP/README.md |
3. Chapter 1:通用编码(DSA)——用模式组织备战而非题海堆砌
通用编码轮与软件工程面试的算法轮类似,面试官通常考察候选人的六项能力(src/lc-coding.md):
- 澄清模糊问题并陈述假设;
- 选择合适的数据结构与算法;
- 解释时间与空间复杂度;
- 将初始方案优化为更高效的方案;
- 写出可读、可测试、不重度依赖 IDE 的代码;
- 沟通推理过程并覆盖边界用例。
3.1 备战方法:以模式为纲
作者明确反对孤立记忆单个题解,建议用模式组织备战(src/lc-coding.md):
- 学习核心数据结构与每个模式对应的信号;
- 用完整讲解吃透一小撮代表性题目;
- 反复重做错题,直到能独立推导出解法;
- 混合模式练习,避免提前知道题型;
- 最终用限时、贴近面试风格与目标公司题集收尾。
每次练习建议:每题限时 15–20 分钟;卡住就研究题解、给题目打上"待复习"标签,并在 48 小时内不看答案重做;用表格记录题目、模式、难度、状态(已解/待重做)与耗时,据此定位薄弱模式(src/lc-coding.md)。
3.2 刷题数量与难度配比
作者以 LeetCode 为练习平台,给出一个参考配比(src/lc-coding.md):
| 目标总数 | Easy(约 35%) | Medium(约 55%) | Hard(约 15%) |
|---|---|---|---|
| 300 | ~105 | ~165 | ~45 |
| 350(推荐) | ~120 | ~190 | ~50 |
| 400 | ~140 | ~220 | ~60 |
注:35/55/15 合计约 105%,表格为方向性参考。重心应放在 Medium 题上:Easy 用于建立熟练度,Hard 用于深化与目标岗位相关的模式。
3.3 核心编码模式清单
文档给出了一份可直接对照自查的模式-信号表(src/lc-coding.md),这里完整列出:
| 模式重点 | 常见信号与技术 |
|---|---|
| 数组、字符串与哈希 | 频次统计、查找表、前缀和、排序 |
| 双指针与滑动窗口 | 连续区间、配对、去重、窗口伸缩 |
| 栈与单调栈 | 括号匹配、下一个更大元素、表达式求值 |
| 二分查找 | 有序数据、单调答案区间、边界查找 |
| 链表 | 指针操作、快慢指针、反转、环检测 |
| 区间 | 合并、重叠、调度、扫描线 |
| 树(BFS、DFS、BST) | 遍历、递归、路径问题、有序性质 |
| Trie、堆与优先队列 | 前缀查找、top-k、流式最大/最小值 |
| 回溯 | 组合、排列、子集、约束搜索 |
| 图 | 矩阵遍历、BFS/DFS、拓扑排序、并查集 |
| 进阶图与贪心 | 最短路、最小生成树、局部最优选择 |
| 一维动态规划 | 序列上的状态转移、取/不取决策 |
| 二维动态规划 | 网格、双序列问题、多变量状态 |
| 数学、几何与位运算 | 不变量、坐标、掩码、XOR、位级状态 |
重要提醒:不要只在独立模块里练习。基础稳固后必须使用混合题集,迫使自己从题目表述中识别模式(src/lc-coding.md)。
3.4 定向与限时练习、面试当天的答题流程
- 公司定向:优先刷目标公司打标签的题目,重点关注近 6–12 个月被高频报告的题;对一次性报告保持警惕,优先重复出现的模式与高频题(src/lc-coding.md)。
- 限时模拟:按目标公司的真实格式练习(固定时间、无提示、可执行代码或白板风格);跑混合限时 mock,而不是提前选定主题;每次 mock 后按模式、实现、复杂度、沟通、测试五个维度归类失误,重练最薄弱项;避免背公司标签题的答案,要能解释方法为何成立并在约束变化时做出调整(src/lc-coding.md)。
- 面试当天五步走(src/lc-coding.md):① 复述问题并澄清输入、输出、约束与边界;② 先描述一个正确的基线方案(除非最优解显而易见);③ 编码前说明所选数据结构、算法与复杂度;④ 分小步可验证地书写代码并保持沟通;⑤ 测试常规、边界、空输入、重复值与失败场景。
4. Chapter 2:ML 编码——从手写经典算法到 PyTorch 工程实战
ML 编码轮在各公司差异较大:有的侧重从零实现经典算法,有的则考察实际 Python/PyTorch 技能(张量操作、预处理、指标、训练循环)。无论哪种形式,考察维度都包括正确性、数值稳定性、代码质量、边界处理、复杂度以及解释设计取舍的能力(src/MLC/ml-coding.md)。
4.1 本章使用方式与运行测试
文档明确推荐的使用路径(src/MLC/ml-coding.md):
- 以 src/MLC/solutions/ml_algorithms.py 作为规范的、可执行的 NumPy 参考实现;
- 运行 src/MLC/solutions/test_ml_algorithms.py 验证实现并研究边界用例;
- 将 src/MLC/notebooks/ 下的旧版 notebook 作为补充探索材料(部分早于规范实现,可能不够完整);
- 不看参考答案默写每道优先题,再对照正确性、复杂度与边界处理。
从仓库根目录运行参考测试(src/MLC/ml-coding.md):
uv run --with numpy python src/MLC/solutions/test_ml_algorithms.py
4.2 难度标签与公司标签的含义
每个编码题使用 LeetCode 风格的难度标签(src/MLC/ml-coding.md):
- Easy:通常单一核心操作、状态有限,约 15 分钟完成;
- Medium:多步骤或非平凡边界,面试中约需 20–35 分钟;
- Hard:40–60+ 分钟,涉及多个交互组件、高级调试或系统级取舍。
难度是编辑对仓库完整题目文本的判断。与 TorchLeet)。
4.3 优先 ML 编码题清单(含难度、公司标签与考察点)
下表完整继承文档的优先题清单(src/MLC/ml-coding.md),"规范实现"列对应 src/MLC/solutions/ml_algorithms.py 中的函数名:
| 题目 | 难度 | 公司标签 | 规范实现 | 补充 notebook | 一份优秀解法应覆盖 |
|---|---|---|---|---|---|
| 数值稳定的 softmax 与交叉熵 | Easy | Apple、Meta、Google、Amazon | softmax、cross_entropy_from_logits |
— | 最大值相减、log-sum-exp、形状、类别索引校验 |
| 线性回归(梯度下降) | Medium | — | linear_regression_gradient_descent |
Linear regression | 向量化梯度、偏置、MSE 缩放、收敛 |
| 逻辑回归(梯度下降) | Hard | Google、Meta、Amazon | logistic_regression_gradient_descent |
Logistic regression | 稳定 sigmoid、二分类交叉熵梯度、阈值 |
| k 近邻 | Medium | Uber、LinkedIn、Meta | knn_predict |
k-NN | 两两距离、top-k 选择、平局、复杂度 |
| k-means 聚类 | Medium | Uber、LinkedIn、Google、Amazon | kmeans |
k-means | 初始化、向量化分配、收敛、空簇 |
| 决策树分裂 | Medium | — | gini_impurity、best_gini_split |
Decision tree | 候选阈值、加权不纯度、停止条件 |
| 主成分分析 | Medium | — | principal_component_analysis |
— | 中心化、SVD/特征分解、分量排序、方差 |
| 2D 卷积 | Medium | — | conv2d_valid |
Convolution | 输出形状、步长、互相关与卷积的区别 |
| 缩放点积注意力 | Medium | — | scaled_dot_product_attention |
— | Q/K/V 形状、1/sqrt(d_k)、稳定 softmax 前做 mask |
| 二分类指标与 ROC-AUC | Medium | — | binary_classification_metrics、roc_auc |
— | 零分母、类别不平衡、平局、秩解释 |
| 蓄水池采样 | Medium | — | reservoir_sample |
— | 未知流长度、均匀概率、O(k) 内存 |
| TF-IDF | Medium | — | tfidf |
— | 词频、文档频率、平滑、稀疏缩放 |
4.4 补充经典算法与数据/采样题
补充经典算法(src/MLC/ml-coding.md),尤其当它们匹配目标团队领域时值得练习:
- 线性 SVM 与合页损失(notebook)——Medium
- 感知机学习规则(notebook)——Easy
- 前馈神经网络与反向传播(notebook)——Hard
- 指标与损失的多分类/多标签扩展——Medium
- 文本分类朴素贝叶斯——Medium
- 推荐系统的矩阵分解——Medium
- 梯度提升:解释训练循环并实现简单残差拟合步骤——Hard
数据与采样题(src/MLC/ml-coding.md):
- 无泄漏地划分 train/validation/test——Easy
- 仅用训练集统计做特征标准化——Easy
- 一致地处理缺失值与未见类别——Medium
- 实现均匀、分层、加权与蓄水池采样——Medium
- 构造 mini-batch 并 padding 变长序列——Medium
- 正确聚合样本加权损失与流式指标——Medium
4.5 面试中要解释什么
文档给出的六点建议(src/MLC/ml-coding.md):① 编码前说明输入形状、dtype、假设与预期输出;② 先给正确基线再向量化/优化瓶颈;③ 讨论时间与空间复杂度(含两两矩阵的代价);④ 处理数值稳定性、空输入、平局、常数特征与非法标签;⑤ 为常规用例与至少一个失败/边界用例写小测试;⑥ 说明面对大数据集、GPU、分布式训练或生产库时实现会如何变化。
4.6 PyTorch ML 编码:60 分钟模拟面试
现代 ML 编码面试可能直接考察实际 PyTorch 技能。文档推荐的 PyTorch ML Coding Problems 指南覆盖(src/MLC/ml-coding.md):
- 一场覆盖张量、预处理、指标、训练/评估循环与调试的 60 分钟模拟面试;
- ML 工作流的 Python 工具类与整洁代码题;
- 张量运算、数据集、批处理、设备管理与 autograd;
- 训练、优化、混合精度、checkpoint 与可复现性;
- 测试、调试、部署与进阶 PyTorch 题;
- 编码挑战与精炼的参考回答。
5. Chapter 3:ML 基础广度——经典 ML 到 LLM/多模态的全面考点
广度面试评估对 ML 概念的理论与实践综合掌握。与深度面试不同,广度面试在不同面试官与候选人之间结构高度相似,因此最适合系统复习(src/ml-fundamental.md)。
5.1 复习资源
作者推荐的复习路径(src/ml-fundamental.md):
- 课程:Andrew Ng 的 Machine Learning、Structuring Machine Learning Projects、深度学习专项课程(Udacity/Coursera);
- 快速回顾:StatQuest ML 视频、StatQuest 统计学(数据科学岗尤其有用)、Machine Learning cheatsheets、Chris Albon 的 ML flashcards。
5.2 经典 ML 考点清单
文档给出了完整的考点树(src/ml-fundamental.md),本文完整继承并分层归纳:
算法分类与监督学习
- 监督/无监督/半监督学习(含例子);分类 vs 回归 vs 聚类;参数化 vs 非参数化;线性 vs 非线性算法。
- 线性算法:线性回归(最小二乘、残差、线性 vs 多元回归)、逻辑回归(代价函数公式与代码、sigmoid、交叉熵)、SVM、线性判别分析。
- 决策树:logits、叶子、训练算法(停止准则)、推理、剪枝。
- 集成方法:Bagging 与 Boosting(含例子)、随机森林、Boosting(Adaboost、GBM、XGBoost);不同算法的对比。
优化、损失函数与模型评估
- 梯度下降(概念、公式、代码)及其变体:SGD、Momentum、RMSprop、Adam。
- 损失函数:逻辑损失、交叉熵(要记得公式)、合页损失(SVM)。
- 特征选择与特征重要性。
- 评估指标:TP/FP/TN/FN、混淆矩阵、准确率、精确率、召回率/灵敏度、特异度、F-score;如何在不平衡数据集中选择;精确率 vs TPR(为什么用精确率);ROC 曲线(TPR vs FPR、阈值选择);AUC(模型比较);扩展到多分类;算法特有指标。
- 模型选择:交叉验证(k-fold,什么是合适的 k?)。
无监督学习
- 聚类:质心模型(k-means)、连通性模型(层次聚类)、密度模型(DBSCAN)。
- 高斯混合模型、潜在语义分析、隐马尔可夫模型(马尔可夫过程、转移概率与发射概率、Viterbi 算法【进阶】)。
- 降维:PCA、ICA、t-SNE。
偏差/方差(欠拟合/过拟合)
- 正则化技术:L1/L2(Lasso/Ridge)。
采样与数据处理
- 采样技术:均匀采样、蓄水池采样、分层采样。
- 缺失数据、不平衡数据、数据分布偏移。
5.3 深度学习考点
- 前馈神经网络(工作原理的深入理解;对非互斥类别激活函数的选择);
- RNN:时间反向传播(BPTT)、梯度消失/爆炸;
- LSTM:梯度消失/爆炸问题;
- Dropout:如何应用于 LSTM?
- Seq2seq 模型、Attention(self-attention);
- Transformer 架构(要细节,毫不含糊);
- Embeddings(词嵌入)。
5.4 统计 ML 与其他主题
- 贝叶斯算法:朴素贝叶斯、最大后验(MAP)估计、最大似然(ML)估计。
- 统计显著性:R-squared、P 值。
- 其他:离群点、相似性/相异性度量(欧氏、曼哈顿、余弦、马氏距离【进阶】)。
5.5 2026 焦点:Foundation Models 与 LLM
文档明确指出:2026 年 ML 面试最大的变化是 LLM/基础模型已成为"广度"的默认要求,而非专长(src/ml-fundamental.md)。核心考点包括:
Transformer 与 LLM 内部机制
- Self-attention 回顾:缩放点积注意力、为什么除以 √dₖ(防止 softmax 进入饱和区、保持梯度稳定)、多头注意力;
- 注意力变体(内存/吞吐权衡):MHA → MQA(multi-query)→ GQA(grouped-query)→ MLA(multi-head latent,DeepSeek);
- 位置编码:绝对/学习式、RoPE(旋转位置编码)、ALiBi;长上下文扩展(位置插值、YaRN);
- KV cache:缓存每层键值使每个新 token 从 O(n²) 降到 O(n);长上下文 × 大批量下主导显存;
- FlashAttention(IO 感知、SRAM 中的分块注意力)——长上下文训练变得可行的原因;
- Block 内部:pre-norm vs post-norm、RMSNorm、SwiGLU/GeGLU 激活;
- Mixture-of-Experts(MoE):稀疏专家路由、负载均衡、激活参数 vs 总参数(Mixtral、DeepSeek-V3);
- 分词:BPE/byte-level BPE/SentencePiece、词表大小、上下文窗口;
- 缩放定律(Chinchilla 计算最优)、涌现能力。
训练流水线(预训练 → 后训练)
- 预训练——在 web 级语料上自监督 next-token 预测;
- SFT/指令微调——在(prompt → response)示范上监督训练;
- 偏好对齐(RLHF 及其替代)——对齐人类偏好与安全;
- 推理 RL——对思维链推理模型使用可验证奖励 RL(o 系列、DeepSeek-R1)。
后训练:SFT 与 RL/对齐算法(2026 核心主题)
2026 年面试的一个中心主题是为你的数据与算力选择正确的后训练方法,现代技术栈通常采用"分层"组合(SFT → 偏好优化 → RL)。文档给出的对比表完整如下(src/ml-fundamental.md):
| 算法 | 所需数据 | 额外需要的模型 | 相对成本 | 适用场景 |
|---|---|---|---|---|
| SFT | 精选指令(prompt→response)示范 | 无 | 低 | 教格式/指令遵循(永远第一步) |
| RLHF(PPO) | 人类偏好标签 | 奖励模型 + critic/value + 参考模型 | 高 | 经典方法;多被更简单方法取代 |
| DPO | 偏好对(chosen vs rejected) | 参考模型 | 中 | 默认的离线对齐;训练如 SFT,无 RL 循环 |
| SimPO | 偏好对 | 无(免参考模型) | 中低 | 无参考模型的 DPO(平均 logprob 隐式奖励) |
| KTO | 二值赞/踩(无配对) | 无 | 低 | 廉价/嘈杂反馈;只有非配对信号时 |
| ORPO | 仅指令示范 | 无 | 低 | 将 SFT + 偏好微调合并为一个阶段 |
| GRPO | 仅提示(采样一组响应,组内相对优势) | 无(无 critic) | 中 | 无价值网络的 RL;推理/数学(DeepSeek) |
| RLVR | 可验证奖励的任务(单元测试、数学答案、合法 JSON) | 自动验证器 | 中 | 代码/数学/工具调用等可检查正确性的场景 |
关键谈资:DPO 把奖励模型 + RL 循环折叠为对偏好对的单一监督损失;GRPO 去掉 critic(组归一化奖励 → 显存低于 PPO);GRPO/RLVR 驱动推理模型;算法排名依赖规模(~1.5B 时在线 RL 可胜出,~7B 时 SimPO 可胜出)。还应了解 DAPO(稳定长思维链 RL)与 RLAIF(用 AI 反馈替代人类标签)。
PEFT、推理与服务优化、解码与上下文学习、生成式评估
- PEFT:全量微调 vs PEFT 的权衡(算力、存储、灾难性遗忘);LoRA/QLoRA(低秩适配器;QLoRA 在量化基座上微调)、适配器、prefix/prompt tuning;关键超参数:LoRA rank/α、学习率、epochs、batch size。
- 推理与服务优化:量化(PTQ vs QAT;INT8/INT4:GPTQ、AWQ;FP8;KV-cache 量化——长上下文时 KV 可超过权重);Paged attention/continuous batching(vLLM)、前缀缓存;投机解码(draft + verify)、蒸馏、MoE 稀疏计算;并行:tensor/pipeline/sequence,prefill vs decode 阶段。
- 解码与上下文学习:解码策略(贪心、beam、temperature、top-k、top-p(nucleus)、重复惩罚;结构化/约束解码(JSON/grammar));上下文学习(zero/few-shot、思维链、self-consistency;test-time compute/推理时扩展);知识注入:RAG vs 长上下文 vs 微调的权衡。
- 生成式模型评估(2026:"评估就是新的系统设计"):经典指标为何不适用于开放式生成;幻觉与校准;RAG 三元组(RAGAS):faithfulness、answer relevance、context relevance;检索指标(recall@k、MRR、nDCG);LLM-as-judge、两两 win-rate/Arena(Elo)、黄金集与回归测试;Agent 指标(工具选择质量、任务/步骤成功率、轨迹遵循);基准(MMLU、GPQA、SWE-bench…);安全/红队、jailbreak 鲁棒性。
5.6 多模态与生成式 AI
多模态基础模型(FM)
- 核心思想:跨模态(文本、图像、音频、视频、动作)的共享表示;
- 融合方式:对比双编码器(CLIP/SigLIP);投影/适配器进入 LLM token 空间(LLaVA);交叉注意力(Flamingo);early vs late fusion;原生/"omni"任意到任意(GPT-4o、Gemini);
- 理解与生成统一;用于自回归生成的图像/音频 tokenizer(VQ-VAE)。
视觉-语言模型(VLM)
- 架构:视觉编码器(ViT/SigLIP/DINOv2)→ 投影器 → LLM;
- 任务:VQA、图像描述、OCR/文档理解、grounding/检测、图表/UI 理解;
- 例子:GPT-4o、Gemini、Claude、Qwen-VL、LLaVA、PaliGemma、InternVL;
- 训练:图文预训练 + 视觉指令微调。
视觉-语言-动作模型(VLA)
- VLM 扩展到具身/机器人控制——感知 → 理解指令 → 输出动作,通常单次前向完成;
- 动作表示:离散动作 token(RT-2、OpenVLA)vs 扩散/流匹配动作头的连续输出(π0);
- 代表例子:RT-2(基于 PaLI-X/PaLM-E VLM,把 web 知识 + 思维链迁移到机器人控制);OpenVLA(7B 开源,DINOv2 + SigLIP 视觉 + Llama-2,970k 真实演示训练,以约 7 倍少的参数超过 RT-2-X(55B));π0(Pi-Zero)(PaliGemma VLM + 流匹配动作专家,~50Hz 高频灵巧控制);
- 用例:机器人操作、人形机器人、通用机器人策略;数据来自遥操作演示 + Open X-Embodiment。
扩散 vs 自回归生成(src/ml-fundamental.md)
| 自回归(AR) | 扩散 | |
|---|---|---|
| 方式 | 逐个预测下一个 token | 从噪声迭代去噪 |
| 似然 | 精确 | 变分/基于分数 |
| 优势 | 离散序列、变长、推理 | 连续高维(图像/视频/音频)、高保真 |
| 速度 | 每 token 一次前向(KV cache 帮助) | 多次去噪步(可用蒸馏/一致性/流匹配加速) |
| 例子 | 文本(GPT)、图像 token(Parti、VAR)、音频(AudioLM) | 图像(Stable Diffusion、Imagen)、视频(Sora、Veo——DiT)、音频/音乐(Stable Audio)、机器人动作(π0) |
- 扩散深潜:前向/反向过程(DDPM)、分数/噪声预测、潜在扩散(Stable Diffusion)、DiT(用于视频的扩散 Transformer)、classifier-free guidance、快速采样器(DDIM)、流匹配/整流流(SD3、π0)。
- AR 深潜:把模态离散成 token → next-token 预测;支撑统一 token 化多模态模型;图像 AR(next-scale 预测/VAR)、音频(AudioLM/MusicGen)。
- 新兴方向:文本扩散/掩码扩散 LM;一致性与少步模型;统一 AR + 扩散栈。
5.7 ML 基础与 LLM/GenAI 面试样题
文档列出大量经典样题(src/ml-fundamental.md),如:什么是机器学习及与传统编程的区别?监督/无监督/半监督学习的区别?偏差-方差权衡?过拟合及如何预防?为何及如何划分 train/test/validation?交叉验证是什么为何重要?正则化及其类型(L1、L2)?如何处理缺失/损坏数据?决策树如何工作?解释逻辑回归、KNN、SVM(什么是 Kernel SVM)、神经网络与反向传播、CNN、迁移学习?比较 K-means 与 KNN?解释随机森林与 GBDT?
2026 新增的 LLM/GenAI/多模态样题(src/ml-fundamental.md):
- 走一遍 Transformer block;为什么注意力分数要除以 √dₖ?
- KV cache 是什么?为何对推理重要?其显存如何扩展?
- 比较 MHA、MQA、GQA;为什么 Llama 采用 GQA?
- RoPE 是什么?为什么旋转嵌入优于学习式位置嵌入?
- RAG vs 微调 vs 长上下文何时选哪个?
- 比较 SFT、DPO、GRPO、RLVR——各自的数据需求、需要的额外模型与适用场景。
- 为什么 GRPO 去掉 critic 网络?它如何估计优势?
- LoRA/QLoRA 是什么?何时用 PEFT 而非全量微调?
- 解释量化(INT8/INT4、FP8)与 KV-cache 量化;精度/延迟的权衡?
- 投机解码如何加速生成?
- 如何评估 LLM/RAG 系统?RAG 三元组与 LLM-as-judge 是什么?
- VLM 如何组合视觉编码器与 LLM?(如 LLaVA/PaliGemma)
- VLA 模型是什么?对比离散动作 token(RT-2、OpenVLA)与流匹配动作头(π0)。
- 扩散与自回归生成有何区别?各自用于什么场景(图像/视频/音频/文本)?
- classifier-free guidance 是什么?流匹配/整流流是什么?
- MoE 模型是什么?区分激活参数与总参数。
6. Chapter 4:ML / GenAI / LLM 系统设计——9 步公式与生产级思考
系统设计面试给出没有唯一正确答案的开放问题,目标是评估你"zoom out"设计一个可在公司 ML 基础设施内以服务形式部署的生产级 ML 系统的能力(src/MLSD/ml-system-design.md)。其逻辑流程与通用软件系统设计类似,但包含若干需要特别关注的 ML 组件。
6.1 9 步 ML 系统设计公式
作者推荐的 9 步公式(src/MLSD/ml-system-design.md,模板见 src/MLSD/mlsd-template.md):
| 步骤 | 内容 |
|---|---|
| Step 1 | 问题定义 |
| Step 2 | 指标(离线与在线) |
| Step 3 | 架构组件(MVP 逻辑) |
| Step 4 | 数据收集与准备 |
| Step 5 | 特征工程 |
| Step 6 | 模型开发与离线评估 |
| Step 7 | 预测服务 |
| Step 8 | 在线测试与部署 |
| Step 9 | 扩展、监控与更新 |
使用提醒:面试中要灵活运用,根据面试需求或面试官兴趣,可跳过某些组件或在某个组件上深入(src/MLSD/ml-system-design.md)。
Step 1:问题定义(Problem Formulation)(src/MLSD/ml-system-design.md)
- 澄清问题、用例与业务目标、需求(范围:所需功能、规模、个性化;性能:预测延迟、预测规模;约束;数据:来源与可用性)、假设;
- 把抽象问题翻译成 ML 问题:ML 目标、ML 输入/输出、ML 类别(二分类、多分类、无监督等);
- 这个问题需要 ML 吗?——权衡影响与成本(数据收集、标注、算力);需要则设计 ML 系统,否则走通用系统设计流程(面试中可假设需要 ML)。
Step 2:指标(Offline and Online)(src/MLSD/ml-system-design.md)
- 离线指标:分类指标(Precision、Recall、F1、ROC AUC、P/R AUC、mAP、log-loss 等,注意不平衡数据);检索排序指标(Precision@k、Recall@k——不反映排序质量;mAP、MRR、nDCG);回归指标(MSE、MAE);问题特定指标(语言:BLEU、BLEURT、GLUE、ROUGE;广告:CPE 等);延迟;计算成本(尤其端侧);
- 在线指标:CTR、任务/会话成功/失败率、任务/会话总时长(如观看时长)、参与率(点赞率、评论率)、转化率、收入提升、首次点击倒数排名等;反指标:直接负面反馈(隐藏、举报);
- 指标间的权衡。
Step 3:架构组件(MVP Logic)(src/MLSD/ml-system-design.md)
- 高层架构与主要组件:非 ML 组件(用户、应用服务器、数据库、知识图谱及其交互);ML 组件(建模模块如候选生成器、排序器等;训练数据生成器);
- 模块化架构设计:模型 1 架构(如候选生成)、模型 2 架构(如排序器、过滤器)。
Step 4:数据收集与准备(src/MLSD/ml-system-design.md)
- 数据需求:目标变量、信号中的主要实体(用户、物品等)、类型(图像、文本、视频等)与体量;
- 数据来源:可用性与成本;隐式(日志)、显式(用户调查);
- 数据存储;ML 数据类型:结构化(数值:离散、连续;类别:有序、名义)与非结构化(图像、文本、视频、音频);
- 标注(监督学习):标注方法——自然标签(从数据提取,如点击、点赞、购买;缺失负标签问题:未点击 ≠ 负标签,需要负采样)、显式用户反馈、人工标注(昂贵、慢、隐私问题);标签不足的处理;程序化标注方法(有噪声;优点:成本、隐私、自适应)——半监督方法(从少量初始标签出发,如基于扰动的)、弱监督(编码启发式:关键词、正则、数据库、其他 ML 模型输出);迁移学习(在大规模廉价数据上预训练,如 GPT-3;零样本或微调做下游任务);主动学习;标注成本与权衡;
- 数据增强;数据生成流水线:数据收集/摄取(离线、在线)、特征生成、特征变换、标签生成、Joiner。
Step 5:特征工程(src/MLSD/ml-system-design.md)
- 特征选择:定义主要实体(用户、物品、文档、查询、广告、上下文);定义实体特定特征(当前、历史;用户特征示例:用户画像、用户历史、用户兴趣;文本特征示例:n-gram(uni、bi)、意图、主题、频次、长度、嵌入);定义交叉特征(user-item 或 query-document;示例:query-document 的 tf-idf;user-item 的用户-视频观看历史、用户搜索历史、用户-广告交互(查看、点赞));隐私约束;
- 特征表示:one-hot 编码;嵌入(文本、图像、图、用户、商店等;如何生成/学习;预计算存储);类别特征编码(one-hot、ordinal、count 等);位置嵌入;缩放/归一化(数值特征);
- 特征预处理(非结构化数据需要):文本(分词:归一化、预分词、tokenizer 模型(字符/词/子词级别)、后处理(加特殊 token));图像(缩放、归一化);视频(解码帧、采样、缩放、归一化);
- 缺失值、特征重要性、Featurizer(原始数据 → 特征)、静态(来自特征存储)vs 动态(在线计算)特征。
Step 6:模型开发与离线评估(src/MLSD/ml-system-design.md)
- 模型选择(MVP):启发式 → 简单模型 → 更复杂模型 → 模型集成;始终从尽可能简单开始(KISS)并迭代;典型选择:逻辑回归、决策树变体(GBDT/XGBoost、RF)、神经网络(前馈、CNN、RNN、Transformer);决策因素:任务复杂度、数据(类型、数量、复杂度)、训练速度、推理需求(算力、延迟、内存)、持续学习、可解释性;流行 NN 架构见 src/MLSD/mlsd-modeling-popular-archs.md;
- 数据集:采样(非概率采样;概率采样:随机、分层、蓄水池、重要性采样);数据划分(train/dev/test 比例;时间相关数据按时间划分——季节性、趋势;数据泄漏:划分后再缩放、只用训练集做统计/缩放/缺失值填充);类别不平衡(重采样、加权损失、合并类别);
- 模型训练:损失函数(MSE、二值/类别 CE、MAE、Huber、合页、对比损失等);优化器(SGD、AdaGrad、RMSProp、Adam 等);从零训练还是微调;模型验证;离线 vs 在线训练;模型离线评估;超参数调优(网格搜索);MVP 模型迭代(模型选择、数据增强、更新频率);模型校准。
Step 7:预测服务(src/MLSD/ml-system-design.md)
- 数据处理与验证、Web 应用与服务系统、预测服务;
- 批量 vs 在线预测:批量为周期性预计算存储、按需检索、高吞吐;在线为请求到达时预测、低延迟;混合(如 Netflix:标题用批量,行用在线);
- 最近邻服务:近似 NN(基于树、LSH、基于聚类);
- 端侧 ML(on-device AI):网络连接/延迟、隐私、成本;内存、算力、能耗约束;模型压缩:量化、剪枝、知识蒸馏、因子分解。
Step 8:在线测试与部署(src/MLSD/ml-system-design.md)
- A/B 实验(如何做:多少比例用户?对照组与实验组?零假设?);Bandits;影子部署(shadow deployment);金丝雀发布(canary release)。
Step 9:扩展、监控与更新(src/MLSD/ml-system-design.md)
- 扩展:通用软件系统扩展(分布式服务器、负载均衡、分片、复制、缓存等;训练数据/KB 分区);ML 系统扩展(分布式 ML:数据并行(训练)、模型并行(训练、推理)、异步/同步 SGD);扩展数据收集;AutoML(软:超参调优;硬:架构搜索 NAS);
- 监控:日志(特征、预测、指标、事件);监控指标(软件系统指标;ML 指标——准确率相关、预测、特征;在线与离线指标面板);监控数据分布偏移(类型:协变量、标签与概念偏移;检测(统计、假设检验);纠正);
- 系统故障:软件故障(依赖、部署、硬件、宕机);ML 故障(测试 vs 在线数据分布差异、反馈循环、边界情况(非法/垃圾输入)、数据分布变化);告警(数据流水线、训练、部署失败、指标低等);
- 更新:持续训练(模型更新:从零训练还是基于基座模型;多久一次:每日、每周、每月;自动更新模型;主动学习;人在回路 ML)。
6.2 ML 系统设计样题库
文档整理了常见题(src/MLSD/ml-system-design.md):
- GenAI/LLM 系统(2026,常作为独立轮次):RAG 文档问答/"与你的文档对话";LLM 客服机器人(带护栏、降级到人工);Agentic 工作流/AI 助手(规划、工具使用、记忆);企业/语义搜索 + LLM 回答(检索 + 合成 + 引用);代码助手/编码 Agent(仓库 RAG + 工具使用 + 验证);规模化内容生成/摘要(批量 + 安全过滤);LLM 推荐/个性化(LLM 作排序器或特征生成器);
- 推荐系统:视频/电影推荐、好友/关注推荐、活动推荐、游戏推荐、替代品推荐(Instacart)、租赁推荐(Airbnb)、地点推荐;
- 搜索系统:文档搜索(文本查询搜索、图像/视频搜索、多模态搜索);
- 排序系统:信息流排序、广告服务(广告点击预测);
- NLP:命名实体链接、自动补全/typeahead、情感分析、语言识别、聊天机器人、问答系统;
- CV:图像模糊、OCR/文字识别;
- 自动驾驶:自动驾驶汽车(感知、预测、规划;行人乱穿检测)、出行匹配系统;
- 其他:邻近服务/Yelp、外卖配送时间预估、有害内容/垃圾检测(多模态)、欺诈检测、医疗诊断系统。
6.3 系统设计核心主题速查
文档总结了高频主题(src/MLSD/ml-system-design.md):
- 推荐系统:候选生成(协同过滤 CF:基于用户/基于物品、矩阵分解、双塔;基于内容的过滤)、排序、Learning to Rank(LTR:point-wise(最简单)、pairwise、list-wise);
- 搜索与排序:查询搜索(关键词、语义)、视觉搜索、视频搜索、两阶段模型(文档选择、文档排序);排序:信息流排序、广告排序、排序即分类、多阶段排序 + blender + filter;
- NLP:特征工程(预处理/分词)、文本嵌入(Word2Vec、GloVe、Elmo、BERT)、文本分类(情感分析、主题建模)、序列标注(NER、POS;POS HMM、Viterbi、beam search)、文本生成(语言建模:n-gram vs 深度学习;解码)、Seq2seq(机器翻译:NMT、Transformers)、问答、对话与聊天机器人、语音识别(MFCC 特征提取、声学建模、HMM、CTC);
- CV:图像分类(VGG、ResNet)、目标检测(两阶段:R-CNN、Fast R-CNN、Faster R-CNN;单阶段:YOLO、SSD;Vision Transformer;NMS 算法)、目标跟踪;
- 图问题:你可能认识的人;
- GenAI/LLM 系统设计(2026):文档强调 2026 年 "评估方法论就是新的系统设计",面试官更关注成本、延迟、护栏与监控而非架构图;反复出现的框架是知道 LLM 该在哪里介入、确定性系统该在哪里接管(src/MLSD/ml-system-design.md):
- 知识/上下文策略(关键权衡):RAG vs 微调 vs 长上下文 vs 工具/记忆——知识量大/变化/需引用用 RAG;行为、格式或领域风格用微调;整文档推理用长上下文;实践中组合(指令微调基座 + 轻量 LoRA + RAG);
- RAG 流水线(最常见模式):摄取(chunking:大小/重叠、语义 vs 固定;嵌入模型;向量库/ANN 索引:HNSW、IVF-PQ);检索(稠密 vs 混合(稠密 + BM25/关键词)、元数据过滤、重排序(cross-encoder)、查询改写/HyDE);生成(grounded prompt、引用、上下文窗口预算、处理"无答案");进阶(多跳/agentic RAG、GraphRAG、缓存(prompt/embedding/semantic cache));
- Agentic 系统:规划(ReAct、plan-and-execute)、工具/函数调用、记忆(短期上下文、长期存储)、多 Agent 编排、失败模式(循环、幻觉工具、错误恢复)、人在回路;
- 服务与扩展:推理 API 设计、KV cache、continuous batching(vLLM)、量化、投机解码;模型路由(小 vs 大)、自托管 vs API 权衡;
- 可靠性(生产 LLM 工程):速率限制、重试/超时/幂等、fallback、队列、熔断器、优雅降级;
- 护栏与安全:输入/输出过滤、提示注入与 jailbreak 防御、PII 脱敏、grounding/幻觉检查、内容审核、拒绝处理;
- 评估(重点强调!):构建黄金集、LLM-as-judge、两两 win-rate、RAG 三元组(faithfulness、answer relevance、context relevance)、检索指标(recall@k、MRR、nDCG)、上线前离线评估 + 在线 A/B + 回归测试;
- 成本与延迟:token 核算、prompt/上下文优化、缓存、批处理、流式(TTFT vs 总延迟)、小模型路由;
- 监控:质量漂移、幻觉率、检索命中率、每请求延迟/成本、用户反馈循环;追踪/可观测性(Agent 的分步日志)。
7. Chapter 5 与 Chapter 6:Agentic AI 系统与行为面试
7.1 Agentic AI 系统
README 将 Agentic AI 系统列为独立章节(Chapter 5),指向配套的 Agentic-AI-Systems 仓库,覆盖 agent 架构、系统设计决策与自主工作流的实现示例(相关课程资源见 src/genai-resources.md)。在 ML Fundamentals 与 ML System Design 中,Agentic 主题(ReAct、工具调用、记忆、多 Agent 编排)也已作为 2026 年的重点内容融入。
7.2 行为面试
行为面试模块(src/behavior.md)围绕 STAR 方法组织,并给出常见问题清单:
- 介绍一下你自己;
- 你最引以为傲的项目是什么?
- 你为什么想在这里工作?
- 你如何在压力下管理项目?
- 你如何向非技术利益相关者传达技术挑战?
- 讲一个你和团队成员发生冲突的经历;
- 讲一个你犯错的经历;
- 你如何跟进 ML 领域的最新进展?
8. 生态延伸:GenAI 学习资源与公司案例
- src/genai-resources.md 按能力缺口而非"刷完所有课"的方式整理了补充资源,分为 GenAI/LLM 基础(Generative AI Handbook、LLM Bootcamp、Become an LLM Engineer)、RAG 与生产系统(RAG with LangChain、Advanced RAG、LLMOps)、Agent 与 Agentic 系统(Agentic AI Systems、Agentic Design Patterns、CrewAI)、面试与系统设计备战(Grokking 系列)以及补充仓库(Agentic AI Systems、Production Level Deep Learning)。
- src/MLSD/ml-companies.md 收集了大厂 ML 系统博客,供学完基础后深入了解真实世界的 ML 系统。
9. AI Tutor:用 MCP 把 AI 助手变成防剧透面试教练
README 的"AI Tutor with MCP"章节(README.md)介绍如何将任意 MCP 兼容的 AI 助手变成 AI/ML 面试教练:它能够发现课程题目、提供渐进式提示、构建学习与公司备战计划,并以无剧透的教学风格评审答案。
9.1 快速开始
先克隆仓库,再从仓库目录执行以下命令之一(README.md):
claude mcp add aimlinterviews -- npx -y aimlinterviews-mcp
# 或
codex mcp add aimlinterviews -- npx -y aimlinterviews-mcp
服务器会在其工作目录及父目录中查找克隆;若从其他目录启动客户端,需显式配置仓库路径(MCP/README.md):
{
"mcpServers": {
"aimlinterviews": {
"command": "npx",
"args": ["-y", "aimlinterviews-mcp"],
"env": {
"AIMLINTERVIEWS_ROOT": "/path/to/your/AIMLInterviews/clone"
}
}
}
}
AIMLINTERVIEWS_ROOT 必须指向包含 README.md 与 src/ 的仓库根目录。运行环境要求 Node.js 20+、本地克隆与 MCP 兼容客户端(如 Claude Code 或 Codex)(MCP/README.md)。
9.2 工具能力矩阵
MCP 服务器提供 8 个工具(MCP/README.md):
| 工具 | 用途 |
|---|---|
get_server_status |
显示仓库根目录、源码提交与目录统计 |
list_problems |
按领域、难度、标签、公司提及或查询过滤练习题 |
get_problem |
获取题目 prompt 与来源元数据(不含答案) |
get_hint |
请求 1、2、3 级防剧透提示 |
search_curriculum |
查找相关章节与源码位置 |
get_learning_path |
按角色与经验构建学习序列 |
get_company_prep |
按角色构建公司备战计划 |
review_answer |
按面试评分标准评审推理,不执行代码 |
服务器还提供 interview_tutor、mock_interview、study_plan 三个 prompt,以及 aimlinterviews://catalog 与 aimlinterviews://tutor-policy 两个资源(MCP/README.md)。
9.3 源码级实现:无剧透机制是如何保证的
从 MCP 源码可以确认无剧透策略的落地方式(MCP/src/service.ts):
- 取题不泄答案:
getProblem只返回title、prompt与源码定位(Source: ${sourcePath}:${sourceLine} @ ${sourceCommit}),并提示"先澄清需求、解释思路,需要时才请求 1 级提示"(MCP/src/service.ts)。 - 渐进式提示:
getHint强制level: 1 | 2 | 3,返回的提示附带spoilerPolicy: "This hint provides process guidance, not an answer or implementation."(MCP/src/service.ts)。 - 评审不执行代码:
reviewAnswer的返回结构中显式包含executedCode: false与referenceAnswerProvided: false,评审输出"刻意不提供参考答案"(MCP/src/service.ts)。 - 按角色路由领域:
roleAreas根据岗位关键词(manager/director/lead/strateg → leadership;research → research-engineer;genai/llm/agent → genai-engineer;scientist → applied-scientist;其余 → ml-engineer)映射到GOAL_AREAS领域组合(MCP/src/service.ts、MCP/src/service.ts)。 - 学习路径量化:
getLearningPath按经验级别设定每周目标题量(early=6、mid=8、senior=10),并把 1–16 周按领域切分为阶段(MCP/src/service.ts)。
9.4 内容与安全模型
服务器的内容与安全设计(MCP/README.md):
- 直接读取
src/下的公开 Markdown,不内置重复题库; - 稳定目录 ID 由源路径与标题派生;
- 每个题目与章节都带源路径、行号与 Git 提交;
- 仓库读取限定路径、限制大小、跳过符号链接;
- 公司备战计划是基于课程的角色推荐,不是对私密或当前公司面试题的断言;
- 候选代码按文本处理,绝不执行;
- MCP 协议消息走 stdout,诊断走 stderr。
拉取课程更新后需重启 MCP 客户端,让服务器重建内存目录(MCP/README.md)。
9.5 本地开发与运行
cd MCP
npm install
npm test
npm pack --dry-run
直接运行编译后的服务器(MCP/README.md):
AIMLINTERVIEWS_ROOT="$(cd .. && pwd)" npm start
交互式检查:
npm run inspect
入口文件 MCP/src/index.ts 通过 serveStdio(() => createServer(), ...) 启动 stdio 服务器,错误统一输出到 stderr。包配置(MCP/package.json)要求 Node.js >= 20,依赖 @modelcontextprotocol/server 与 zod。
10. 总结与备战路径建议
结合 README 的章节地图与各章节方法论,一条完整的备战路径可以是:
- 先建立广度:按 Chapter 3 的清单过一遍经典 ML 与 LLM/多模态考点,把 2026 年的后训练算法(SFT/DPO/GRPO/RLVR)与评估方法(RAG 三元组、LLM-as-judge)作为重点;
- 再练编码:用 Chapter 2 的优先题清单与规范实现 src/MLC/solutions/ml_algorithms.py 逐题默写,
uv run --with numpy python src/MLC/solutions/test_ml_algorithms.py验证,再用 PyTorch 指南做 60 分钟模拟; - 同步刷 DSA:按 Chapter 1 的模式表组织刷题,以 300–400 题、Medium 为主力、混合限时 mock 收尾;
- 系统设计用公式:以 9 步公式 为骨架,选 2–3 个样题(推荐 RAG 文档问答与信息流排序)练完整流程,重点训练 2026 年强调的评估、成本、延迟与护栏;
- 行为面试按 STAR:参考 src/behavior.md 的问题清单准备故事;
- 用 MCP 教练收尾:配置
aimlinterviews-mcp,用get_learning_path生成计划、list_problems/get_problem取题、get_hint渐进提示、review_answer复盘,全程无剧透、不执行代码,最后用公司定向计划与限时混合 mock 检验成果。
仓库是只读的,以上所有操作均为查看、安装、运行与配置方式;核心代码、测试与配置均可直接点击文中的仓库相对路径继续深入阅读。