AIMLInterviews:面向 AI/ML 技术面试的系统化备战指南与 MCP 智能陪练实战

原创2026-09-23 20:55:082,196 阅读
文章标签:示例工程教程人工智能

AIMLInterviews:面向 AI/ML 技术面试的系统化备战指南与 MCP 智能陪练实战

本指南以 README.md 为骨架,系统梳理 AIMLInterviews 仓库针对 AI/ML 技术面试(尤其 FAANG 级别岗位)的六大核心面试模块:通用编码(DSA)、ML 编码、ML 基础知识广度、ML/GenAI 系统设计、Agentic AI 系统与行为面试;并详解如何将仓库课程体系接入 MCP 生态,把任意 MCP 兼容的 AI 助手变成"防剧透"的 AI/ML 面试教练。读完本文,你将掌握该课程体系的章节导航、每类面试的准备方法与核心考点清单,并能在本地一键启动 aimlinterviews-mcp 进行题目检索、渐进式提示与答案复盘。

1. 仓库定位:一份以实战为导向的面试备战地图

AIMLInterviews 是一个面向 AI 与 ML 技术面试的开源指南仓库,目标读者是投递大厂(特别是 FAANG)相关岗位的候选人。仓库基于作者本人的面试经历整理:作者在 2020 年同时收获 Meta(ML Specialist)、Google(ML Engineer)、Amazon(Applied Scientist)、Apple(Applied Scientist)与 Roku(ML Engineer)五份 offer,并于 2025 年再次获得 Amazon 与 Apple(AI Tech Lead)的 offer(见 README.md)。

仓库核心观点有三条(README.md):

  1. 面试是一项可训练的技能("Interviewing is a skill and the more skillful you are, the better the results will be")。
  2. 不同公司的 AI/ML 面试结构并不完全统一,但 FAANG 大厂之间各轮次高度相似;初创公司往往围绕自身业务场景出题,大厂则更遵循一致的结构(README.md)。
  3. 本指南主要面向 AI/ML 工程、Applied Science、技术负责人等岗位,Data Science、Research Scientist 等岗位结构不同,但部分模块同样适用(README.md)。

2. 六大章节:AI/ML 面试的完整模块地图

README 用一张章节表(README.md)定义了仓库的课程骨架,共 6 个章节加 1 个资源页与 1 个 AI 教练工具:

章节 主题 入口文档
Chapter 1 通用编码——数据结构与算法(DSA) src/lc-coding.md
Chapter 2 ML 编码 src/MLC/ml-coding.md
Chapter 3 ML 基础广度(经典 ML、LLM、多模态等) src/ml-fundamental.md
Chapter 4 ML / GenAI / LLM 系统设计 src/MLSD/ml-system-design.md
Chapter 5 Agentic AI 系统 关联外部仓库 Agentic-AI-Systems
Chapter 6 行为面试 src/behavior.md
Resources GenAI 学习资源 src/genai-resources.md
AI Tutor AIMLInterviews MCP Server MCP/README.md

3. Chapter 1:通用编码(DSA)——用模式组织备战而非题海堆砌

通用编码轮与软件工程面试的算法轮类似,面试官通常考察候选人的六项能力(src/lc-coding.md):

  • 澄清模糊问题并陈述假设;
  • 选择合适的数据结构与算法;
  • 解释时间与空间复杂度;
  • 将初始方案优化为更高效的方案;
  • 写出可读、可测试、不重度依赖 IDE 的代码;
  • 沟通推理过程并覆盖边界用例。

3.1 备战方法:以模式为纲

作者明确反对孤立记忆单个题解,建议用模式组织备战(src/lc-coding.md):

  1. 学习核心数据结构与每个模式对应的信号;
  2. 用完整讲解吃透一小撮代表性题目;
  3. 反复重做错题,直到能独立推导出解法;
  4. 混合模式练习,避免提前知道题型;
  5. 最终用限时、贴近面试风格与目标公司题集收尾。

每次练习建议:每题限时 15–20 分钟;卡住就研究题解、给题目打上"待复习"标签,并在 48 小时内不看答案重做;用表格记录题目、模式、难度、状态(已解/待重做)与耗时,据此定位薄弱模式(src/lc-coding.md)。

3.2 刷题数量与难度配比

作者以 LeetCode 为练习平台,给出一个参考配比(src/lc-coding.md):

目标总数 Easy(约 35%) Medium(约 55%) Hard(约 15%)
300 ~105 ~165 ~45
350(推荐) ~120 ~190 ~50
400 ~140 ~220 ~60

注:35/55/15 合计约 105%,表格为方向性参考。重心应放在 Medium 题上:Easy 用于建立熟练度,Hard 用于深化与目标岗位相关的模式。

3.3 核心编码模式清单

文档给出了一份可直接对照自查的模式-信号表(src/lc-coding.md),这里完整列出:

模式重点 常见信号与技术
数组、字符串与哈希 频次统计、查找表、前缀和、排序
双指针与滑动窗口 连续区间、配对、去重、窗口伸缩
栈与单调栈 括号匹配、下一个更大元素、表达式求值
二分查找 有序数据、单调答案区间、边界查找
链表 指针操作、快慢指针、反转、环检测
区间 合并、重叠、调度、扫描线
树(BFS、DFS、BST) 遍历、递归、路径问题、有序性质
Trie、堆与优先队列 前缀查找、top-k、流式最大/最小值
回溯 组合、排列、子集、约束搜索
图 矩阵遍历、BFS/DFS、拓扑排序、并查集
进阶图与贪心 最短路、最小生成树、局部最优选择
一维动态规划 序列上的状态转移、取/不取决策
二维动态规划 网格、双序列问题、多变量状态
数学、几何与位运算 不变量、坐标、掩码、XOR、位级状态

重要提醒:不要只在独立模块里练习。基础稳固后必须使用混合题集,迫使自己从题目表述中识别模式(src/lc-coding.md)。

3.4 定向与限时练习、面试当天的答题流程

  • 公司定向:优先刷目标公司打标签的题目,重点关注近 6–12 个月被高频报告的题;对一次性报告保持警惕,优先重复出现的模式与高频题(src/lc-coding.md)。
  • 限时模拟:按目标公司的真实格式练习(固定时间、无提示、可执行代码或白板风格);跑混合限时 mock,而不是提前选定主题;每次 mock 后按模式、实现、复杂度、沟通、测试五个维度归类失误,重练最薄弱项;避免背公司标签题的答案,要能解释方法为何成立并在约束变化时做出调整(src/lc-coding.md)。
  • 面试当天五步走(src/lc-coding.md):① 复述问题并澄清输入、输出、约束与边界;② 先描述一个正确的基线方案(除非最优解显而易见);③ 编码前说明所选数据结构、算法与复杂度;④ 分小步可验证地书写代码并保持沟通;⑤ 测试常规、边界、空输入、重复值与失败场景。

4. Chapter 2:ML 编码——从手写经典算法到 PyTorch 工程实战

ML 编码轮在各公司差异较大:有的侧重从零实现经典算法,有的则考察实际 Python/PyTorch 技能(张量操作、预处理、指标、训练循环)。无论哪种形式,考察维度都包括正确性、数值稳定性、代码质量、边界处理、复杂度以及解释设计取舍的能力(src/MLC/ml-coding.md)。

4.1 本章使用方式与运行测试

文档明确推荐的使用路径(src/MLC/ml-coding.md):

从仓库根目录运行参考测试(src/MLC/ml-coding.md):

uv run --with numpy python src/MLC/solutions/test_ml_algorithms.py

4.2 难度标签与公司标签的含义

每个编码题使用 LeetCode 风格的难度标签(src/MLC/ml-coding.md):

  • Easy:通常单一核心操作、状态有限,约 15 分钟完成;
  • Medium:多步骤或非平凡边界,面试中约需 20–35 分钟;
  • Hard:40–60+ 分钟,涉及多个交互组件、高级调试或系统级取舍。

难度是编辑对仓库完整题目文本的判断。与 TorchLeet)。

4.3 优先 ML 编码题清单(含难度、公司标签与考察点)

下表完整继承文档的优先题清单(src/MLC/ml-coding.md),"规范实现"列对应 src/MLC/solutions/ml_algorithms.py 中的函数名:

题目 难度 公司标签 规范实现 补充 notebook 一份优秀解法应覆盖
数值稳定的 softmax 与交叉熵 Easy Apple、Meta、Google、Amazon softmax、cross_entropy_from_logits — 最大值相减、log-sum-exp、形状、类别索引校验
线性回归(梯度下降) Medium — linear_regression_gradient_descent Linear regression 向量化梯度、偏置、MSE 缩放、收敛
逻辑回归(梯度下降) Hard Google、Meta、Amazon logistic_regression_gradient_descent Logistic regression 稳定 sigmoid、二分类交叉熵梯度、阈值
k 近邻 Medium Uber、LinkedIn、Meta knn_predict k-NN 两两距离、top-k 选择、平局、复杂度
k-means 聚类 Medium Uber、LinkedIn、Google、Amazon kmeans k-means 初始化、向量化分配、收敛、空簇
决策树分裂 Medium — gini_impurity、best_gini_split Decision tree 候选阈值、加权不纯度、停止条件
主成分分析 Medium — principal_component_analysis — 中心化、SVD/特征分解、分量排序、方差
2D 卷积 Medium — conv2d_valid Convolution 输出形状、步长、互相关与卷积的区别
缩放点积注意力 Medium — scaled_dot_product_attention — Q/K/V 形状、1/sqrt(d_k)、稳定 softmax 前做 mask
二分类指标与 ROC-AUC Medium — binary_classification_metrics、roc_auc — 零分母、类别不平衡、平局、秩解释
蓄水池采样 Medium — reservoir_sample — 未知流长度、均匀概率、O(k) 内存
TF-IDF Medium — tfidf — 词频、文档频率、平滑、稀疏缩放

4.4 补充经典算法与数据/采样题

补充经典算法(src/MLC/ml-coding.md),尤其当它们匹配目标团队领域时值得练习:

  • 线性 SVM 与合页损失(notebook)——Medium
  • 感知机学习规则(notebook)——Easy
  • 前馈神经网络与反向传播(notebook)——Hard
  • 指标与损失的多分类/多标签扩展——Medium
  • 文本分类朴素贝叶斯——Medium
  • 推荐系统的矩阵分解——Medium
  • 梯度提升:解释训练循环并实现简单残差拟合步骤——Hard

数据与采样题(src/MLC/ml-coding.md):

  • 无泄漏地划分 train/validation/test——Easy
  • 仅用训练集统计做特征标准化——Easy
  • 一致地处理缺失值与未见类别——Medium
  • 实现均匀、分层、加权与蓄水池采样——Medium
  • 构造 mini-batch 并 padding 变长序列——Medium
  • 正确聚合样本加权损失与流式指标——Medium

4.5 面试中要解释什么

文档给出的六点建议(src/MLC/ml-coding.md):① 编码前说明输入形状、dtype、假设与预期输出;② 先给正确基线再向量化/优化瓶颈;③ 讨论时间与空间复杂度(含两两矩阵的代价);④ 处理数值稳定性、空输入、平局、常数特征与非法标签;⑤ 为常规用例与至少一个失败/边界用例写小测试;⑥ 说明面对大数据集、GPU、分布式训练或生产库时实现会如何变化。

4.6 PyTorch ML 编码:60 分钟模拟面试

现代 ML 编码面试可能直接考察实际 PyTorch 技能。文档推荐的 PyTorch ML Coding Problems 指南覆盖(src/MLC/ml-coding.md):

  • 一场覆盖张量、预处理、指标、训练/评估循环与调试的 60 分钟模拟面试;
  • ML 工作流的 Python 工具类与整洁代码题;
  • 张量运算、数据集、批处理、设备管理与 autograd;
  • 训练、优化、混合精度、checkpoint 与可复现性;
  • 测试、调试、部署与进阶 PyTorch 题;
  • 编码挑战与精炼的参考回答。

5. Chapter 3:ML 基础广度——经典 ML 到 LLM/多模态的全面考点

广度面试评估对 ML 概念的理论与实践综合掌握。与深度面试不同,广度面试在不同面试官与候选人之间结构高度相似,因此最适合系统复习(src/ml-fundamental.md)。

5.1 复习资源

作者推荐的复习路径(src/ml-fundamental.md):

  • 课程:Andrew Ng 的 Machine Learning、Structuring Machine Learning Projects、深度学习专项课程(Udacity/Coursera);
  • 快速回顾:StatQuest ML 视频、StatQuest 统计学(数据科学岗尤其有用)、Machine Learning cheatsheets、Chris Albon 的 ML flashcards。

5.2 经典 ML 考点清单

文档给出了完整的考点树(src/ml-fundamental.md),本文完整继承并分层归纳:

算法分类与监督学习

  • 监督/无监督/半监督学习(含例子);分类 vs 回归 vs 聚类;参数化 vs 非参数化;线性 vs 非线性算法。
  • 线性算法:线性回归(最小二乘、残差、线性 vs 多元回归)、逻辑回归(代价函数公式与代码、sigmoid、交叉熵)、SVM、线性判别分析。
  • 决策树:logits、叶子、训练算法(停止准则)、推理、剪枝。
  • 集成方法:Bagging 与 Boosting(含例子)、随机森林、Boosting(Adaboost、GBM、XGBoost);不同算法的对比。

优化、损失函数与模型评估

  • 梯度下降(概念、公式、代码)及其变体:SGD、Momentum、RMSprop、Adam。
  • 损失函数:逻辑损失、交叉熵(要记得公式)、合页损失(SVM)。
  • 特征选择与特征重要性。
  • 评估指标:TP/FP/TN/FN、混淆矩阵、准确率、精确率、召回率/灵敏度、特异度、F-score;如何在不平衡数据集中选择;精确率 vs TPR(为什么用精确率);ROC 曲线(TPR vs FPR、阈值选择);AUC(模型比较);扩展到多分类;算法特有指标。
  • 模型选择:交叉验证(k-fold,什么是合适的 k?)。

无监督学习

  • 聚类:质心模型(k-means)、连通性模型(层次聚类)、密度模型(DBSCAN)。
  • 高斯混合模型、潜在语义分析、隐马尔可夫模型(马尔可夫过程、转移概率与发射概率、Viterbi 算法【进阶】)。
  • 降维:PCA、ICA、t-SNE。

偏差/方差(欠拟合/过拟合)

  • 正则化技术:L1/L2(Lasso/Ridge)。

采样与数据处理

  • 采样技术:均匀采样、蓄水池采样、分层采样。
  • 缺失数据、不平衡数据、数据分布偏移。

5.3 深度学习考点

  • 前馈神经网络(工作原理的深入理解;对非互斥类别激活函数的选择);
  • RNN:时间反向传播(BPTT)、梯度消失/爆炸;
  • LSTM:梯度消失/爆炸问题;
  • Dropout:如何应用于 LSTM?
  • Seq2seq 模型、Attention(self-attention);
  • Transformer 架构(要细节,毫不含糊);
  • Embeddings(词嵌入)。

5.4 统计 ML 与其他主题

  • 贝叶斯算法:朴素贝叶斯、最大后验(MAP)估计、最大似然(ML)估计。
  • 统计显著性:R-squared、P 值。
  • 其他:离群点、相似性/相异性度量(欧氏、曼哈顿、余弦、马氏距离【进阶】)。

5.5 2026 焦点:Foundation Models 与 LLM

文档明确指出:2026 年 ML 面试最大的变化是 LLM/基础模型已成为"广度"的默认要求,而非专长(src/ml-fundamental.md)。核心考点包括:

Transformer 与 LLM 内部机制

  • Self-attention 回顾:缩放点积注意力、为什么除以 √dₖ(防止 softmax 进入饱和区、保持梯度稳定)、多头注意力;
  • 注意力变体(内存/吞吐权衡):MHA → MQA(multi-query)→ GQA(grouped-query)→ MLA(multi-head latent,DeepSeek);
  • 位置编码:绝对/学习式、RoPE(旋转位置编码)、ALiBi;长上下文扩展(位置插值、YaRN);
  • KV cache:缓存每层键值使每个新 token 从 O(n²) 降到 O(n);长上下文 × 大批量下主导显存;
  • FlashAttention(IO 感知、SRAM 中的分块注意力)——长上下文训练变得可行的原因;
  • Block 内部:pre-norm vs post-norm、RMSNorm、SwiGLU/GeGLU 激活;
  • Mixture-of-Experts(MoE):稀疏专家路由、负载均衡、激活参数 vs 总参数(Mixtral、DeepSeek-V3);
  • 分词:BPE/byte-level BPE/SentencePiece、词表大小、上下文窗口;
  • 缩放定律(Chinchilla 计算最优)、涌现能力。

训练流水线(预训练 → 后训练)

  1. 预训练——在 web 级语料上自监督 next-token 预测;
  2. SFT/指令微调——在(prompt → response)示范上监督训练;
  3. 偏好对齐(RLHF 及其替代)——对齐人类偏好与安全;
  4. 推理 RL——对思维链推理模型使用可验证奖励 RL(o 系列、DeepSeek-R1)。

后训练:SFT 与 RL/对齐算法(2026 核心主题)

2026 年面试的一个中心主题是为你的数据与算力选择正确的后训练方法,现代技术栈通常采用"分层"组合(SFT → 偏好优化 → RL)。文档给出的对比表完整如下(src/ml-fundamental.md):

算法 所需数据 额外需要的模型 相对成本 适用场景
SFT 精选指令(prompt→response)示范 无 低 教格式/指令遵循(永远第一步)
RLHF(PPO) 人类偏好标签 奖励模型 + critic/value + 参考模型 高 经典方法;多被更简单方法取代
DPO 偏好对(chosen vs rejected) 参考模型 中 默认的离线对齐;训练如 SFT,无 RL 循环
SimPO 偏好对 无(免参考模型) 中低 无参考模型的 DPO(平均 logprob 隐式奖励)
KTO 二值赞/踩(无配对) 无 低 廉价/嘈杂反馈;只有非配对信号时
ORPO 仅指令示范 无 低 将 SFT + 偏好微调合并为一个阶段
GRPO 仅提示(采样一组响应,组内相对优势) 无(无 critic) 中 无价值网络的 RL;推理/数学(DeepSeek)
RLVR 可验证奖励的任务(单元测试、数学答案、合法 JSON) 自动验证器 中 代码/数学/工具调用等可检查正确性的场景

关键谈资:DPO 把奖励模型 + RL 循环折叠为对偏好对的单一监督损失;GRPO 去掉 critic(组归一化奖励 → 显存低于 PPO);GRPO/RLVR 驱动推理模型;算法排名依赖规模(~1.5B 时在线 RL 可胜出,~7B 时 SimPO 可胜出)。还应了解 DAPO(稳定长思维链 RL)与 RLAIF(用 AI 反馈替代人类标签)。

PEFT、推理与服务优化、解码与上下文学习、生成式评估

  • PEFT:全量微调 vs PEFT 的权衡(算力、存储、灾难性遗忘);LoRA/QLoRA(低秩适配器;QLoRA 在量化基座上微调)、适配器、prefix/prompt tuning;关键超参数:LoRA rank/α、学习率、epochs、batch size。
  • 推理与服务优化:量化(PTQ vs QAT;INT8/INT4:GPTQ、AWQ;FP8;KV-cache 量化——长上下文时 KV 可超过权重);Paged attention/continuous batching(vLLM)、前缀缓存;投机解码(draft + verify)、蒸馏、MoE 稀疏计算;并行:tensor/pipeline/sequence,prefill vs decode 阶段。
  • 解码与上下文学习:解码策略(贪心、beam、temperature、top-k、top-p(nucleus)、重复惩罚;结构化/约束解码(JSON/grammar));上下文学习(zero/few-shot、思维链、self-consistency;test-time compute/推理时扩展);知识注入:RAG vs 长上下文 vs 微调的权衡。
  • 生成式模型评估(2026:"评估就是新的系统设计"):经典指标为何不适用于开放式生成;幻觉与校准;RAG 三元组(RAGAS):faithfulness、answer relevance、context relevance;检索指标(recall@k、MRR、nDCG);LLM-as-judge、两两 win-rate/Arena(Elo)、黄金集与回归测试;Agent 指标(工具选择质量、任务/步骤成功率、轨迹遵循);基准(MMLU、GPQA、SWE-bench…);安全/红队、jailbreak 鲁棒性。

5.6 多模态与生成式 AI

多模态基础模型(FM)

  • 核心思想:跨模态(文本、图像、音频、视频、动作)的共享表示;
  • 融合方式:对比双编码器(CLIP/SigLIP);投影/适配器进入 LLM token 空间(LLaVA);交叉注意力(Flamingo);early vs late fusion;原生/"omni"任意到任意(GPT-4o、Gemini);
  • 理解与生成统一;用于自回归生成的图像/音频 tokenizer(VQ-VAE)。

视觉-语言模型(VLM)

  • 架构:视觉编码器(ViT/SigLIP/DINOv2)→ 投影器 → LLM;
  • 任务:VQA、图像描述、OCR/文档理解、grounding/检测、图表/UI 理解;
  • 例子:GPT-4o、Gemini、Claude、Qwen-VL、LLaVA、PaliGemma、InternVL;
  • 训练:图文预训练 + 视觉指令微调。

视觉-语言-动作模型(VLA)

  • VLM 扩展到具身/机器人控制——感知 → 理解指令 → 输出动作,通常单次前向完成;
  • 动作表示:离散动作 token(RT-2、OpenVLA)vs 扩散/流匹配动作头的连续输出(π0);
  • 代表例子:RT-2(基于 PaLI-X/PaLM-E VLM,把 web 知识 + 思维链迁移到机器人控制);OpenVLA(7B 开源,DINOv2 + SigLIP 视觉 + Llama-2,970k 真实演示训练,以约 7 倍少的参数超过 RT-2-X(55B));π0(Pi-Zero)(PaliGemma VLM + 流匹配动作专家,~50Hz 高频灵巧控制);
  • 用例:机器人操作、人形机器人、通用机器人策略;数据来自遥操作演示 + Open X-Embodiment。

扩散 vs 自回归生成(src/ml-fundamental.md)

自回归(AR) 扩散
方式 逐个预测下一个 token 从噪声迭代去噪
似然 精确 变分/基于分数
优势 离散序列、变长、推理 连续高维(图像/视频/音频)、高保真
速度 每 token 一次前向(KV cache 帮助) 多次去噪步(可用蒸馏/一致性/流匹配加速)
例子 文本(GPT)、图像 token(Parti、VAR)、音频(AudioLM) 图像(Stable Diffusion、Imagen)、视频(Sora、Veo——DiT)、音频/音乐(Stable Audio)、机器人动作(π0)
  • 扩散深潜:前向/反向过程(DDPM)、分数/噪声预测、潜在扩散(Stable Diffusion)、DiT(用于视频的扩散 Transformer)、classifier-free guidance、快速采样器(DDIM)、流匹配/整流流(SD3、π0)。
  • AR 深潜:把模态离散成 token → next-token 预测;支撑统一 token 化多模态模型;图像 AR(next-scale 预测/VAR)、音频(AudioLM/MusicGen)。
  • 新兴方向:文本扩散/掩码扩散 LM;一致性与少步模型;统一 AR + 扩散栈。

5.7 ML 基础与 LLM/GenAI 面试样题

文档列出大量经典样题(src/ml-fundamental.md),如:什么是机器学习及与传统编程的区别?监督/无监督/半监督学习的区别?偏差-方差权衡?过拟合及如何预防?为何及如何划分 train/test/validation?交叉验证是什么为何重要?正则化及其类型(L1、L2)?如何处理缺失/损坏数据?决策树如何工作?解释逻辑回归、KNN、SVM(什么是 Kernel SVM)、神经网络与反向传播、CNN、迁移学习?比较 K-means 与 KNN?解释随机森林与 GBDT?

2026 新增的 LLM/GenAI/多模态样题(src/ml-fundamental.md):

  • 走一遍 Transformer block;为什么注意力分数要除以 √dₖ?
  • KV cache 是什么?为何对推理重要?其显存如何扩展?
  • 比较 MHA、MQA、GQA;为什么 Llama 采用 GQA?
  • RoPE 是什么?为什么旋转嵌入优于学习式位置嵌入?
  • RAG vs 微调 vs 长上下文何时选哪个?
  • 比较 SFT、DPO、GRPO、RLVR——各自的数据需求、需要的额外模型与适用场景。
  • 为什么 GRPO 去掉 critic 网络?它如何估计优势?
  • LoRA/QLoRA 是什么?何时用 PEFT 而非全量微调?
  • 解释量化(INT8/INT4、FP8)与 KV-cache 量化;精度/延迟的权衡?
  • 投机解码如何加速生成?
  • 如何评估 LLM/RAG 系统?RAG 三元组与 LLM-as-judge 是什么?
  • VLM 如何组合视觉编码器与 LLM?(如 LLaVA/PaliGemma)
  • VLA 模型是什么?对比离散动作 token(RT-2、OpenVLA)与流匹配动作头(π0)。
  • 扩散与自回归生成有何区别?各自用于什么场景(图像/视频/音频/文本)?
  • classifier-free guidance 是什么?流匹配/整流流是什么?
  • MoE 模型是什么?区分激活参数与总参数。

6. Chapter 4:ML / GenAI / LLM 系统设计——9 步公式与生产级思考

系统设计面试给出没有唯一正确答案的开放问题,目标是评估你"zoom out"设计一个可在公司 ML 基础设施内以服务形式部署的生产级 ML 系统的能力(src/MLSD/ml-system-design.md)。其逻辑流程与通用软件系统设计类似,但包含若干需要特别关注的 ML 组件。

6.1 9 步 ML 系统设计公式

作者推荐的 9 步公式(src/MLSD/ml-system-design.md,模板见 src/MLSD/mlsd-template.md):

步骤 内容
Step 1 问题定义
Step 2 指标(离线与在线)
Step 3 架构组件(MVP 逻辑)
Step 4 数据收集与准备
Step 5 特征工程
Step 6 模型开发与离线评估
Step 7 预测服务
Step 8 在线测试与部署
Step 9 扩展、监控与更新

使用提醒:面试中要灵活运用,根据面试需求或面试官兴趣,可跳过某些组件或在某个组件上深入(src/MLSD/ml-system-design.md)。

Step 1:问题定义(Problem Formulation)(src/MLSD/ml-system-design.md)

  • 澄清问题、用例与业务目标、需求(范围:所需功能、规模、个性化;性能:预测延迟、预测规模;约束;数据:来源与可用性)、假设;
  • 把抽象问题翻译成 ML 问题:ML 目标、ML 输入/输出、ML 类别(二分类、多分类、无监督等);
  • 这个问题需要 ML 吗?——权衡影响与成本(数据收集、标注、算力);需要则设计 ML 系统,否则走通用系统设计流程(面试中可假设需要 ML)。

Step 2:指标(Offline and Online)(src/MLSD/ml-system-design.md)

  • 离线指标:分类指标(Precision、Recall、F1、ROC AUC、P/R AUC、mAP、log-loss 等,注意不平衡数据);检索排序指标(Precision@k、Recall@k——不反映排序质量;mAP、MRR、nDCG);回归指标(MSE、MAE);问题特定指标(语言:BLEU、BLEURT、GLUE、ROUGE;广告:CPE 等);延迟;计算成本(尤其端侧);
  • 在线指标:CTR、任务/会话成功/失败率、任务/会话总时长(如观看时长)、参与率(点赞率、评论率)、转化率、收入提升、首次点击倒数排名等;反指标:直接负面反馈(隐藏、举报);
  • 指标间的权衡。

Step 3:架构组件(MVP Logic)(src/MLSD/ml-system-design.md)

  • 高层架构与主要组件:非 ML 组件(用户、应用服务器、数据库、知识图谱及其交互);ML 组件(建模模块如候选生成器、排序器等;训练数据生成器);
  • 模块化架构设计:模型 1 架构(如候选生成)、模型 2 架构(如排序器、过滤器)。

Step 4:数据收集与准备(src/MLSD/ml-system-design.md)

  • 数据需求:目标变量、信号中的主要实体(用户、物品等)、类型(图像、文本、视频等)与体量;
  • 数据来源:可用性与成本;隐式(日志)、显式(用户调查);
  • 数据存储;ML 数据类型:结构化(数值:离散、连续;类别:有序、名义)与非结构化(图像、文本、视频、音频);
  • 标注(监督学习):标注方法——自然标签(从数据提取,如点击、点赞、购买;缺失负标签问题:未点击 ≠ 负标签,需要负采样)、显式用户反馈、人工标注(昂贵、慢、隐私问题);标签不足的处理;程序化标注方法(有噪声;优点:成本、隐私、自适应)——半监督方法(从少量初始标签出发,如基于扰动的)、弱监督(编码启发式:关键词、正则、数据库、其他 ML 模型输出);迁移学习(在大规模廉价数据上预训练,如 GPT-3;零样本或微调做下游任务);主动学习;标注成本与权衡;
  • 数据增强;数据生成流水线:数据收集/摄取(离线、在线)、特征生成、特征变换、标签生成、Joiner。

Step 5:特征工程(src/MLSD/ml-system-design.md)

  • 特征选择:定义主要实体(用户、物品、文档、查询、广告、上下文);定义实体特定特征(当前、历史;用户特征示例:用户画像、用户历史、用户兴趣;文本特征示例:n-gram(uni、bi)、意图、主题、频次、长度、嵌入);定义交叉特征(user-item 或 query-document;示例:query-document 的 tf-idf;user-item 的用户-视频观看历史、用户搜索历史、用户-广告交互(查看、点赞));隐私约束;
  • 特征表示:one-hot 编码;嵌入(文本、图像、图、用户、商店等;如何生成/学习;预计算存储);类别特征编码(one-hot、ordinal、count 等);位置嵌入;缩放/归一化(数值特征);
  • 特征预处理(非结构化数据需要):文本(分词:归一化、预分词、tokenizer 模型(字符/词/子词级别)、后处理(加特殊 token));图像(缩放、归一化);视频(解码帧、采样、缩放、归一化);
  • 缺失值、特征重要性、Featurizer(原始数据 → 特征)、静态(来自特征存储)vs 动态(在线计算)特征。

Step 6:模型开发与离线评估(src/MLSD/ml-system-design.md)

  • 模型选择(MVP):启发式 → 简单模型 → 更复杂模型 → 模型集成;始终从尽可能简单开始(KISS)并迭代;典型选择:逻辑回归、决策树变体(GBDT/XGBoost、RF)、神经网络(前馈、CNN、RNN、Transformer);决策因素:任务复杂度、数据(类型、数量、复杂度)、训练速度、推理需求(算力、延迟、内存)、持续学习、可解释性;流行 NN 架构见 src/MLSD/mlsd-modeling-popular-archs.md;
  • 数据集:采样(非概率采样;概率采样:随机、分层、蓄水池、重要性采样);数据划分(train/dev/test 比例;时间相关数据按时间划分——季节性、趋势;数据泄漏:划分后再缩放、只用训练集做统计/缩放/缺失值填充);类别不平衡(重采样、加权损失、合并类别);
  • 模型训练:损失函数(MSE、二值/类别 CE、MAE、Huber、合页、对比损失等);优化器(SGD、AdaGrad、RMSProp、Adam 等);从零训练还是微调;模型验证;离线 vs 在线训练;模型离线评估;超参数调优(网格搜索);MVP 模型迭代(模型选择、数据增强、更新频率);模型校准。

Step 7:预测服务(src/MLSD/ml-system-design.md)

  • 数据处理与验证、Web 应用与服务系统、预测服务;
  • 批量 vs 在线预测:批量为周期性预计算存储、按需检索、高吞吐;在线为请求到达时预测、低延迟;混合(如 Netflix:标题用批量,行用在线);
  • 最近邻服务:近似 NN(基于树、LSH、基于聚类);
  • 端侧 ML(on-device AI):网络连接/延迟、隐私、成本;内存、算力、能耗约束;模型压缩:量化、剪枝、知识蒸馏、因子分解。

Step 8:在线测试与部署(src/MLSD/ml-system-design.md)

  • A/B 实验(如何做:多少比例用户?对照组与实验组?零假设?);Bandits;影子部署(shadow deployment);金丝雀发布(canary release)。

Step 9:扩展、监控与更新(src/MLSD/ml-system-design.md)

  • 扩展:通用软件系统扩展(分布式服务器、负载均衡、分片、复制、缓存等;训练数据/KB 分区);ML 系统扩展(分布式 ML:数据并行(训练)、模型并行(训练、推理)、异步/同步 SGD);扩展数据收集;AutoML(软:超参调优;硬:架构搜索 NAS);
  • 监控:日志(特征、预测、指标、事件);监控指标(软件系统指标;ML 指标——准确率相关、预测、特征;在线与离线指标面板);监控数据分布偏移(类型:协变量、标签与概念偏移;检测(统计、假设检验);纠正);
  • 系统故障:软件故障(依赖、部署、硬件、宕机);ML 故障(测试 vs 在线数据分布差异、反馈循环、边界情况(非法/垃圾输入)、数据分布变化);告警(数据流水线、训练、部署失败、指标低等);
  • 更新:持续训练(模型更新:从零训练还是基于基座模型;多久一次:每日、每周、每月;自动更新模型;主动学习;人在回路 ML)。

6.2 ML 系统设计样题库

文档整理了常见题(src/MLSD/ml-system-design.md):

  • GenAI/LLM 系统(2026,常作为独立轮次):RAG 文档问答/"与你的文档对话";LLM 客服机器人(带护栏、降级到人工);Agentic 工作流/AI 助手(规划、工具使用、记忆);企业/语义搜索 + LLM 回答(检索 + 合成 + 引用);代码助手/编码 Agent(仓库 RAG + 工具使用 + 验证);规模化内容生成/摘要(批量 + 安全过滤);LLM 推荐/个性化(LLM 作排序器或特征生成器);
  • 推荐系统:视频/电影推荐、好友/关注推荐、活动推荐、游戏推荐、替代品推荐(Instacart)、租赁推荐(Airbnb)、地点推荐;
  • 搜索系统:文档搜索(文本查询搜索、图像/视频搜索、多模态搜索);
  • 排序系统:信息流排序、广告服务(广告点击预测);
  • NLP:命名实体链接、自动补全/typeahead、情感分析、语言识别、聊天机器人、问答系统;
  • CV:图像模糊、OCR/文字识别;
  • 自动驾驶:自动驾驶汽车(感知、预测、规划;行人乱穿检测)、出行匹配系统;
  • 其他:邻近服务/Yelp、外卖配送时间预估、有害内容/垃圾检测(多模态)、欺诈检测、医疗诊断系统。

6.3 系统设计核心主题速查

文档总结了高频主题(src/MLSD/ml-system-design.md):

  • 推荐系统:候选生成(协同过滤 CF:基于用户/基于物品、矩阵分解、双塔;基于内容的过滤)、排序、Learning to Rank(LTR:point-wise(最简单)、pairwise、list-wise);
  • 搜索与排序:查询搜索(关键词、语义)、视觉搜索、视频搜索、两阶段模型(文档选择、文档排序);排序:信息流排序、广告排序、排序即分类、多阶段排序 + blender + filter;
  • NLP:特征工程(预处理/分词)、文本嵌入(Word2Vec、GloVe、Elmo、BERT)、文本分类(情感分析、主题建模)、序列标注(NER、POS;POS HMM、Viterbi、beam search)、文本生成(语言建模:n-gram vs 深度学习;解码)、Seq2seq(机器翻译:NMT、Transformers)、问答、对话与聊天机器人、语音识别(MFCC 特征提取、声学建模、HMM、CTC);
  • CV:图像分类(VGG、ResNet)、目标检测(两阶段:R-CNN、Fast R-CNN、Faster R-CNN;单阶段:YOLO、SSD;Vision Transformer;NMS 算法)、目标跟踪;
  • 图问题:你可能认识的人;
  • GenAI/LLM 系统设计(2026):文档强调 2026 年 "评估方法论就是新的系统设计",面试官更关注成本、延迟、护栏与监控而非架构图;反复出现的框架是知道 LLM 该在哪里介入、确定性系统该在哪里接管(src/MLSD/ml-system-design.md):
    • 知识/上下文策略(关键权衡):RAG vs 微调 vs 长上下文 vs 工具/记忆——知识量大/变化/需引用用 RAG;行为、格式或领域风格用微调;整文档推理用长上下文;实践中组合(指令微调基座 + 轻量 LoRA + RAG);
    • RAG 流水线(最常见模式):摄取(chunking:大小/重叠、语义 vs 固定;嵌入模型;向量库/ANN 索引:HNSW、IVF-PQ);检索(稠密 vs 混合(稠密 + BM25/关键词)、元数据过滤、重排序(cross-encoder)、查询改写/HyDE);生成(grounded prompt、引用、上下文窗口预算、处理"无答案");进阶(多跳/agentic RAG、GraphRAG、缓存(prompt/embedding/semantic cache));
    • Agentic 系统:规划(ReAct、plan-and-execute)、工具/函数调用、记忆(短期上下文、长期存储)、多 Agent 编排、失败模式(循环、幻觉工具、错误恢复)、人在回路;
    • 服务与扩展:推理 API 设计、KV cache、continuous batching(vLLM)、量化、投机解码;模型路由(小 vs 大)、自托管 vs API 权衡;
    • 可靠性(生产 LLM 工程):速率限制、重试/超时/幂等、fallback、队列、熔断器、优雅降级;
    • 护栏与安全:输入/输出过滤、提示注入与 jailbreak 防御、PII 脱敏、grounding/幻觉检查、内容审核、拒绝处理;
    • 评估(重点强调!):构建黄金集、LLM-as-judge、两两 win-rate、RAG 三元组(faithfulness、answer relevance、context relevance)、检索指标(recall@k、MRR、nDCG)、上线前离线评估 + 在线 A/B + 回归测试;
    • 成本与延迟:token 核算、prompt/上下文优化、缓存、批处理、流式(TTFT vs 总延迟)、小模型路由;
    • 监控:质量漂移、幻觉率、检索命中率、每请求延迟/成本、用户反馈循环;追踪/可观测性(Agent 的分步日志)。

7. Chapter 5 与 Chapter 6:Agentic AI 系统与行为面试

7.1 Agentic AI 系统

README 将 Agentic AI 系统列为独立章节(Chapter 5),指向配套的 Agentic-AI-Systems 仓库,覆盖 agent 架构、系统设计决策与自主工作流的实现示例(相关课程资源见 src/genai-resources.md)。在 ML Fundamentals 与 ML System Design 中,Agentic 主题(ReAct、工具调用、记忆、多 Agent 编排)也已作为 2026 年的重点内容融入。

7.2 行为面试

行为面试模块(src/behavior.md)围绕 STAR 方法组织,并给出常见问题清单:

  • 介绍一下你自己;
  • 你最引以为傲的项目是什么?
  • 你为什么想在这里工作?
  • 你如何在压力下管理项目?
  • 你如何向非技术利益相关者传达技术挑战?
  • 讲一个你和团队成员发生冲突的经历;
  • 讲一个你犯错的经历;
  • 你如何跟进 ML 领域的最新进展?

8. 生态延伸:GenAI 学习资源与公司案例

  • src/genai-resources.md 按能力缺口而非"刷完所有课"的方式整理了补充资源,分为 GenAI/LLM 基础(Generative AI Handbook、LLM Bootcamp、Become an LLM Engineer)、RAG 与生产系统(RAG with LangChain、Advanced RAG、LLMOps)、Agent 与 Agentic 系统(Agentic AI Systems、Agentic Design Patterns、CrewAI)、面试与系统设计备战(Grokking 系列)以及补充仓库(Agentic AI Systems、Production Level Deep Learning)。
  • src/MLSD/ml-companies.md 收集了大厂 ML 系统博客,供学完基础后深入了解真实世界的 ML 系统。

9. AI Tutor:用 MCP 把 AI 助手变成防剧透面试教练

README 的"AI Tutor with MCP"章节(README.md)介绍如何将任意 MCP 兼容的 AI 助手变成 AI/ML 面试教练:它能够发现课程题目、提供渐进式提示、构建学习与公司备战计划,并以无剧透的教学风格评审答案。

9.1 快速开始

先克隆仓库,再从仓库目录执行以下命令之一(README.md):

claude mcp add aimlinterviews -- npx -y aimlinterviews-mcp
# 或
codex mcp add aimlinterviews -- npx -y aimlinterviews-mcp

服务器会在其工作目录及父目录中查找克隆;若从其他目录启动客户端,需显式配置仓库路径(MCP/README.md):

{
  "mcpServers": {
    "aimlinterviews": {
      "command": "npx",
      "args": ["-y", "aimlinterviews-mcp"],
      "env": {
        "AIMLINTERVIEWS_ROOT": "/path/to/your/AIMLInterviews/clone"
      }
    }
  }
}

AIMLINTERVIEWS_ROOT 必须指向包含 README.md 与 src/ 的仓库根目录。运行环境要求 Node.js 20+、本地克隆与 MCP 兼容客户端(如 Claude Code 或 Codex)(MCP/README.md)。

9.2 工具能力矩阵

MCP 服务器提供 8 个工具(MCP/README.md):

工具 用途
get_server_status 显示仓库根目录、源码提交与目录统计
list_problems 按领域、难度、标签、公司提及或查询过滤练习题
get_problem 获取题目 prompt 与来源元数据(不含答案)
get_hint 请求 1、2、3 级防剧透提示
search_curriculum 查找相关章节与源码位置
get_learning_path 按角色与经验构建学习序列
get_company_prep 按角色构建公司备战计划
review_answer 按面试评分标准评审推理,不执行代码

服务器还提供 interview_tutor、mock_interview、study_plan 三个 prompt,以及 aimlinterviews://catalog 与 aimlinterviews://tutor-policy 两个资源(MCP/README.md)。

9.3 源码级实现:无剧透机制是如何保证的

从 MCP 源码可以确认无剧透策略的落地方式(MCP/src/service.ts):

  • 取题不泄答案:getProblem 只返回 title、prompt 与源码定位(Source: ${sourcePath}:${sourceLine} @ ${sourceCommit}),并提示"先澄清需求、解释思路,需要时才请求 1 级提示"(MCP/src/service.ts)。
  • 渐进式提示:getHint 强制 level: 1 | 2 | 3,返回的提示附带 spoilerPolicy: "This hint provides process guidance, not an answer or implementation."(MCP/src/service.ts)。
  • 评审不执行代码:reviewAnswer 的返回结构中显式包含 executedCode: false 与 referenceAnswerProvided: false,评审输出"刻意不提供参考答案"(MCP/src/service.ts)。
  • 按角色路由领域:roleAreas 根据岗位关键词(manager/director/lead/strateg → leadership;research → research-engineer;genai/llm/agent → genai-engineer;scientist → applied-scientist;其余 → ml-engineer)映射到 GOAL_AREAS 领域组合(MCP/src/service.ts、MCP/src/service.ts)。
  • 学习路径量化:getLearningPath 按经验级别设定每周目标题量(early=6、mid=8、senior=10),并把 1–16 周按领域切分为阶段(MCP/src/service.ts)。

9.4 内容与安全模型

服务器的内容与安全设计(MCP/README.md):

  • 直接读取 src/ 下的公开 Markdown,不内置重复题库;
  • 稳定目录 ID 由源路径与标题派生;
  • 每个题目与章节都带源路径、行号与 Git 提交;
  • 仓库读取限定路径、限制大小、跳过符号链接;
  • 公司备战计划是基于课程的角色推荐,不是对私密或当前公司面试题的断言;
  • 候选代码按文本处理,绝不执行;
  • MCP 协议消息走 stdout,诊断走 stderr。

拉取课程更新后需重启 MCP 客户端,让服务器重建内存目录(MCP/README.md)。

9.5 本地开发与运行

cd MCP
npm install
npm test
npm pack --dry-run

直接运行编译后的服务器(MCP/README.md):

AIMLINTERVIEWS_ROOT="$(cd .. && pwd)" npm start

交互式检查:

npm run inspect

入口文件 MCP/src/index.ts 通过 serveStdio(() => createServer(), ...) 启动 stdio 服务器,错误统一输出到 stderr。包配置(MCP/package.json)要求 Node.js >= 20,依赖 @modelcontextprotocol/server 与 zod。

10. 总结与备战路径建议

结合 README 的章节地图与各章节方法论,一条完整的备战路径可以是:

  1. 先建立广度:按 Chapter 3 的清单过一遍经典 ML 与 LLM/多模态考点,把 2026 年的后训练算法(SFT/DPO/GRPO/RLVR)与评估方法(RAG 三元组、LLM-as-judge)作为重点;
  2. 再练编码:用 Chapter 2 的优先题清单与规范实现 src/MLC/solutions/ml_algorithms.py 逐题默写,uv run --with numpy python src/MLC/solutions/test_ml_algorithms.py 验证,再用 PyTorch 指南做 60 分钟模拟;
  3. 同步刷 DSA:按 Chapter 1 的模式表组织刷题,以 300–400 题、Medium 为主力、混合限时 mock 收尾;
  4. 系统设计用公式:以 9 步公式 为骨架,选 2–3 个样题(推荐 RAG 文档问答与信息流排序)练完整流程,重点训练 2026 年强调的评估、成本、延迟与护栏;
  5. 行为面试按 STAR:参考 src/behavior.md 的问题清单准备故事;
  6. 用 MCP 教练收尾:配置 aimlinterviews-mcp,用 get_learning_path 生成计划、list_problems/get_problem 取题、get_hint 渐进提示、review_answer 复盘,全程无剧透、不执行代码,最后用公司定向计划与限时混合 mock 检验成果。

仓库是只读的,以上所有操作均为查看、安装、运行与配置方式;核心代码、测试与配置均可直接点击文中的仓库相对路径继续深入阅读。

登录后查看全文
AIMLInterviews