LLM 基础专题：在 awesome-generative-ai-guide 中系统建立大语言模型心智模型

本篇指南围绕仓库主题页 topics/foundations.md 展开，它回答一个根本问题：语言模型是如何工作的——transformers、预训练、词表（vocabulary），以及你在动手构建或阅读研究之前需要建立的心智模型。同一个主题在仓库的三条学习旅程（Understand / Build / Use）中以不同深度反复出现，本文按旅程与级别梳理全部资源，并结合仓库内的课程讲义（Applied LLMs Mastery 2024 第 1 周与第 11 周）深入讲解神经网络、注意力机制与 Transformer 的底层原理。读完本文，你将掌握：LLM 从 RNN 到 Transformer 的演进脉络、预训练与三种少样本学习范式、LLM 的典型应用与四类核心挑战，以及一条从零到可评估 Agent 的 5 天基础路线。

---

主题定位：一个主题，三种深度

LLM Foundations 是仓库九大主题之一（见 README.md 的 Browse by Topic 索引），它关注的是语言模型本身的工作原理：transformer 架构、预训练过程、token 与词表，以及在开始构建应用或阅读论文之前必须建立的关于模型行为的心智模型。

该主题页的独特之处在于"分级组织"：同样一份基础，在不同目标下深度不同——

旅程	级别	目标	对应资源
Understand（研究向）	101 🟢	读懂 LLM 研究与论文	LLM Lingo 术语表、Survey Papers、ETH / Princeton / Stanford 等高校免费课程
Build（工程向）	101 🟢	学会"足以构建"的 LLM 知识	5 天 GenAI Roadmap、Applied LLMs Mastery 2024 第 1/11 周
Use（应用向）	101 🟢	零门槛、无数学地理解生成式 AI	Generative AI Genius 20 天入门课

主题页同时给出了统一的标签体系，用于快速判断每个条目的属性：Format（📖 阅读 / 🎥 视频 / 🛠️ 笔记本 / 📝 练习）、Source（⭐ LevelUp Labs 原创 / 🌐 外部）、以及标注年份。完整、持续更新的免费课程总表集中在 courses.md 的 Foundations 章节。

---

🔬 Understand 101：读懂 LLM 研究的入口

面向学生、研究者和"想跟随前沿"的人群，这一级别要解决两件事：建立词汇基础与学会读论文。

LLM Lingo：六部分术语表

resources/llm_lingo 是一份由 LevelUp Labs 原创的 6 部分术语表（对应目录下的 llm_lingo_p1.pdf 至 llm_lingo_p6.pdf），用平实的语言解释常见 LLM 术语。它的定位是"共同语言"：在研究、面试和团队协作中，先确保大家对 token、embedding、context window、fine-tuning、RLHF 等词的理解一致。该术语表同时服务于 Understand 101 与 Build 101 两条旅程，说明"词汇基础"是无论研究还是工程都必须先补齐的一环。

Survey Papers：用综述论文快速建立知识地图

research_updates/survey_papers.md 精选了覆盖生成式 AI 各主题的综述论文，仓库的定位是"一篇好的综述能为你节省数小时的追赶时间，并帮你画出清晰的知识地图"。按主题分类如下（论文均为公开学术资料，此处保留仓库中的主题归类，不展开外部链接）：

1. 基础模型：Large Language Models 综述
2. 提示工程：Prompting 技术系统综述（The Prompt Report）
3. 检索增强生成（RAG）：面向 LLM 的检索增强文本生成综述
4. 幻觉：LLM 幻觉的原理、分类法、挑战与开放问题综述
5. 参数高效微调（PEFT）：大规模模型参数高效微调综合综述
6. LLM 智能体：基于 LLM 的自主智能体综述
7. 多模态模型：多模态大语言模型综述
8. LLM 评估：大语言模型评估综述
9. 对抗攻击：对抗攻击揭示的 LLM 漏洞综述

该文件更新于 2024 年，主题页将其标记为 🔴 aging（逐步老化），适合作为理解研究脉络的起点而非最新情报源——最新情报请转向 Understand 301 的月度论文列表。

免费外部基础课程

主题页将外部免费课程清单指向 journeys/understand.md 的 Understand 101 小节，那里完整列出了来自以下机构/作者的公开课：

• ETH Zurich：Large Language Models 课程
• Princeton：Understanding Large Language Models
• Stanford：CS324 – Large Language Models；以及 2025 新增的 CS336: Language Modeling from Scratch（完整的 LLM 训练管线）
• Hugging Face：Transformers 课程
• DeepLearning.AI：Generative AI with Large Language Models；2025 新增 How Transformer LLMs Work（Jay Alammar 讲解 transformer 内部的可视化直觉）与 Pretraining LLMs（与 Upstage 合作，从数据到评估的端到端预训练）
• Google Cloud / Coursera：Introduction to Generative AI、Generative AI Fundamentals 等
• Andrej Karpathy：1 小时 Intro to Large Language Models；2025 新增 Neural Networks: Zero to Hero（从零用代码构建 GPT）
• Microsoft / AWS / Nvidia / Databricks / Learn Prompting 等机构的入门课程

2025–2026 的新增条目（标注 🆕）集中在两条主线：从代码层面亲手构建（Zero to Hero、CS336）与用可视化直觉理解架构（How Transformer LLMs Work），这正是建立心智模型的两种互补路径。

---

🏗️ Build 101：动手构建前的基础

对工程师与产品团队，基础的目的是"足以构建"。仓库为这一级别提供了三份原创内容：一份 5 天路线图与两份已归档的课程讲义。

GenAI Roadmap：5 天从基础到可评估的 Agent

resources/genai_roadmap.md 是 LevelUp Labs 原创的 5 天入门路线，更新于 2026 年，其设计理念本身就是对"现代 LLM 应用形态"的陈述：大多数构建者从不微调模型，而是把提示、上下文、检索与工具组装成 Agent，然后评估它。因此核心 5 天的路径是：

FOUNDATIONS --> PROMPTING --> RAG --> AGENTS & TOOLS --> EVALUATION & SHIPPING
 (Day 1)        (Day 2)      (Day 3)   (Day 4)            (Day 5)
 如何理解 LLM     上下文工程      检索      模型 + 框架、循环、MCP    在产线上是否有效

                                       + 可选进阶日：微调与后训练

每天建议投入 2–3 小时，前提是具备基础的机器学习知识。各天内容如下：

• Day 1：LLM 与推理模型基础。观看 Andrej Karpathy 的 Intro to Large Language Models 与 DeepLearning.AI 的 How Transformer LLMs Work；阅读 LLM Lingo 术语表与 AWS 的 LLM 简介；可选深入：Karpathy 的 Neural Networks: Zero to Hero（从零构建 GPT）。
• Day 2：提示与上下文工程。路线图特别指出：2026 年更大的技能是上下文工程——决定"模型看到什么"，而不只是"你如何措辞提问"。资源为 Anthropic 的提示工程交互式教程与 Prompting Guide 的入门/进阶技术。
• Day 3：检索增强生成（RAG）。观看 DeepLearning.AI 的 RAG 课程；阅读仓库原创的 Agentic RAG 101；可选深入当前研究：RAG 研究表。
• Day 4：Agent 与工具。路线图给出明确定义：Agent = 模型 + 框架（工具、记忆、以及让它"采取行动而非仅作答"的循环）。观看 Hugging Face AI Agents 课程；阅读仓库原创的 Agentic AI Crash Course 与 Anthropic 的 Model Context Protocol 入门。
• Day 5：评估与上线。"构建 Agent 只完成了一半工作，另一半是知道它是否有效，并在生产环境中失效时及时捕获——这就是评估与可观测性。"观看 DeepLearning.AI 与 Arize 的 Evaluating AI Agents；阅读仓库原创的 AI Evals for Everyone；可选阅读 Securing Agentic AI Systems。
• 可选进阶日：微调与后训练。路线图明确：多数场景先用提示、RAG 与 Agent；只有当确实需要改变模型行为时才引入微调工具箱——监督微调（SFT）、偏好优化（DPO）与基于可验证奖励的强化学习（GRPO）。配套阅读仓库的 Fine-tuning 101。

路线图结尾的"下一步"导向 courses.md、月度最佳论文、State of AI 2025 报告 以及学习路径，形成从基础到持续学习的闭环。

Applied LLMs Mastery 2024 第 11 周：Transformer 与神经网络

week11_foundations.md 是已归档的 2024 版讲义（🔴 archived，仅作参考），但它提供了本仓库内最完整的模型演进史讲解。其主线是从文本处理的神经网络讲起，一路推进到当代 LLM。

生成式模型 vs 判别式模型

讲义开篇强调：所有机器学习模型分属生成式或判别式，LLM 属于生成式。生成式模型学习"数据是如何生成的"，掌握其中的模式与结构以创造新的数据点——如学会"狗的图片"由皮毛、耳朵、尾巴等特征构成，进而生成从未见过的真实感新图；判别式模型则专注于基于输入做决策或预测——如判断一张图里"有没有狗"，不关心数据如何生成。一句话总结：生成式模型创造，判别式模型分类或预测。

从 RNN 到 LSTM：处理序列的早期尝试

最早用于文本生成的神经网络是循环神经网络（RNN），其核心是"带环的神经网络"：连接构成有向循环，信息可从一步传递到下一步，网络输出不仅取决于当前输入，还取决于此前输入与内部状态（记忆）。四个要点：

1. 输入处理：每个时间步 $t$ 接收输入 $x_t$（序列中的一个词或特征向量）；
2. 状态更新：输入与上一步内部状态 $h_{t-1}$ 通过加权连接（参数）结合，产生新状态 $h_t$；
3. 输出生成：当前状态 $h_t$ 用于产生该步输出 $y_t$；
4. 循环连接：构成网络内部的"记忆"，捕捉序列中的依赖与模式。

但 RNN 存在长程依赖学习困难与训练中的梯度消失/爆炸问题。为此出现增强变体 LSTM（长短期记忆网络）：它引入专用记忆单元与门控机制——输入门（决定保留多少新信息）、遗忘门（决定遗忘多少旧信息）、输出门（决定输出多少当前单元状态），并改善训练中的梯度流动，因而擅长跨长距离记住重要信息、遗忘无关信息。GRU（门控循环单元）与双向 LSTM 是其后续变体。

Seq2Seq 与注意力机制

RNN/LSTM 难以处理变长输入与变长输出，因为固定大小的隐状态限制了长程依赖与上下文保持。序列到序列（Seq2Seq）模型采用编码器-解码器架构：编码器把输入序列压缩为固定大小表示（上下文向量），解码器再生成输出序列，每个单元仍是 RNN 类架构。其缺陷在于：固定长度上下文向量会丢失信息（长序列尤甚），且解码时难以聚焦输入中的相关部分。

注意力机制的引入解决了聚焦问题，完整流程为：① 编码器把输入序列每个元素转为隐状态；② 解码时计算注意力权重，衡量各编码器隐状态与当前解码步的相关性；③ 用 softmax 归一化，使权重和为 1 形成概率分布；④ 对编码器隐状态做加权求和，得到"被关注"的上下文表示；⑤ 该上下文与解码器当前状态结合，生成当前输出；⑥ 逐解码步重复直到生成结束符或达到最大长度。

Transformer：2017 年的架构突破

Seq2Seq+注意力仍有两大短板：为每个解码步计算注意力带来计算开销，且底层仍依赖 RNN/LSTM 的长程依赖限制。Transformer 针对性地引入四点创新：

1. 自注意力机制：输入序列中每个位置可同时关注所有其他位置，一次性捕获全局依赖，无需在编码器-解码器之间来回传递；
2. 并行化：自注意力层可对序列各位置并行计算，大幅优于逐序列处理的循环层，更适合长序列与大规模数据；
3. 位置编码：模型没有循环层、天然不知序列顺序，因此把位置编码加到输入嵌入上，为每个元素提供位置信息；
4. 灵活可扩展的架构：仍保留编码器-解码器结构，但以自注意力层替换循环层。

BERT、GPT 与 T5：预训练-微调范式

当代 LLM 的基石是预训练 + 微调范式。讲义依次介绍三个里程碑模型：

• BERT（双向编码器表征）：采用掩码语言建模目标——掩蔽部分输入 token 并从双向上下文预测之，从而捕获更深的语义关系；
• GPT（生成式预训练 Transformer）：采用自回归生成——基于此前生成的 token 预测下一个 token，擅长文本生成、对话与摘要；
• T5（文本到文本迁移 Transformer）：把所有 NLP 任务统一为文本到文本映射，翻译、分类、摘要、问答共用同一套输入-输出为字符串的框架。

三者共同点还包括：在大规模语料（数十亿 token）上训练，借助分布式训练与海量算力捕获丰富语言模式。讲义还指出新一代模型（如 Llama、ChatGPT）相比 BERT/GPT 的演进方向：任务专化（对话、多模态等场景化优化）、多模态能力（联合处理图像/音频/视频）、效率提升（更少参数与算力达到相近性能）、领域微调与迁移，以及交互式动态响应（利用多轮对话上下文）。

Applied LLMs Mastery 2024 第 1 周：LLM 实践入门

week1_part1_foundations.md 从"零基础"出发，建立 LLM 的整体图景，是本主题在仓库中最具实践性的入门讲义。

概念层级：从 AI 到 LLM

讲义用一个清晰层级串联常见术语：AI（人工智能） 是创建具有类人思维与行为机器的计算机科学分支；ML（机器学习） 是 AI 子领域，让计算机从数据学习模式并预测，无需显式编程；神经网络（NN） 是 ML 子集，模拟人脑结构，是深度学习算法核心；深度学习（DL） 是 NN 子集，擅长图像识别、语言翻译等复杂问题；生成式 AI（GenAI） 是 DL 子集，可基于习得模式创造文本、图像、音乐、音频、视频等多样化内容；LLM 是 GenAI 的一种形式，通过学习海量文本数据生成类人文本。相比判别式模型，生成式模型通过学习人类数据中的模式与关系来生成新内容。

历史脉络：从马尔可夫链到 Transformer

生成式 AI 并非新概念：1906 年数学家安德烈·马尔可夫提出马尔可夫链，早期用于下一个词预测，但因过于简单而无法生成可信文本；2014 年生成对抗网络（GAN） 让两个模型协作（一个生成、一个判别），如 StyleGAN 显著提升内容真实度；一年后扩散模型通过迭代精炼生成新样本，如 Stable Diffusion 用于图像；2017 年 Google 提出 Transformer——将每个词编码为 token 并生成捕获 token 间关系的注意力图，对上下文的关注使其能生成连贯文本，成为 ChatGPT 等大模型的基础。

规模、参数与训练

"Large" 有两层含义：架构规模与训练数据量。规模越大，越能捕获语言中复杂模式与关系。模型参数被形象比喻为"算法在训练中调校的旋钮与开关"——如 GPT-3、Gemini、Claude 等拥有数千亿参数。训练过程的简化三步：① 提供输入文本——模型从书籍、文章、网站等海量文本中学习预测序列中的下一个词/token；② 优化权重——参数权重反映各特征的重要性，训练中不断调校以最小化预测误差；③ 微调参数值——根据预测误差反馈迭代调整。影响性能的两大因素为模型架构（设计复杂度）与数据集（质量与多样性）。训练私有 LLM 需要数天到数周的算力投入，通常依赖云端方案与高性能 GPU。

预训练之后，LLM 可用小规模监督数据快速定制（微调）。讲义归纳三种学习范式：

范式	说明
零样本学习（Zero-shot）	基础模型无需显式训练即可通过提示处理广泛请求，但准确度可能参差
少样本学习（Few-shot）	提供少量相关示例即可显著提升特定领域性能
领域适配（Domain Adaptation）	少样本的延伸，用应用/领域相关数据调整基础模型参数

真实世界应用：七个典型场景

讲义梳理了 LLM 七大应用场景及落地载体：

1. 内容生成：理解上下文并生成连贯相关文本——营销平台、社媒管理工具、内容创作平台；
2. 语言翻译：理解不同语言细微差别，提供准确且上下文感知的翻译——翻译服务、全球沟通平台；
3. 文本摘要：识别关键信息、保持核心信息、压缩长文档——研究工具、新闻聚合器、内容策展平台；
4. 问答与聊天机器人：理解问题语境、生成相关准确回答——客服系统、虚拟助手、教育平台；
5. 内容审核：分析文本并识别不当/有害内容——社媒平台、在线论坛、社区管理；
6. 信息检索：理解用户查询并从大规模数据集中检索相关信息——搜索引擎、数据库、知识管理系统；
7. 教育工具：提供自然语言界面、生成摘要、答疑、互动学习对话——在线学习平台、教育聊天机器人。

四类挑战：数据、伦理、技术、部署

讲义把 LLM 落地难题归纳为四大主题，每类之下有具体清单：

• 数据挑战：训练数据偏差导致输出偏见；世界知识有限与幻觉（且补训新数据漫长昂贵）；性能高度依赖训练数据质量与代表性。
• 伦理与社会挑战：敏感场景下的负责任使用；训练数据偏差的放大导致不公平/歧视性输出；生成内容引发版权与法律纠纷；处理用户私密输入时的隐私风险。
• 技术挑战：训练与部署所需巨额算力；复杂模型的可解释性；评估设计不完善（尤其是自由生成内容的评测）；针对任务/领域的微调困难；长段落或长对话中的上下文保持；对对抗性输入操纵的鲁棒性不足；长文本中的长期上下文连贯性。
• 部署挑战：生产环境下的扩展性；实时应用中的延迟控制；监控与维护体系；与现有软件/数据库/基础设施的集成；算力与存储成本优化；安全漏洞防护；与管线中其他工具/框架的互操作性；用户反馈闭环机制；数据保护法规合规；动态环境下的内容生成管理。

---

🧑💻 Use 101：无数学门槛的入门

对只想"在工作中用好 AI"的非技术用户，仓库给出的基础入口是 Generative AI Genius（free_courses/generative_ai_genius/README.md），一份 LevelUp Labs 原创的 2024 年 20 天入门课程，定位是"首个基于短视频/reels 的 AI 课程"——每天只需 2–5 分钟，概念逐日累积成一张完整的领域思维导图。

课程设计面向三种学习者：忙碌型（每天 2–5 分钟即可跟上）、好奇型（另配 20–30 分钟精选阅读加深理解）、动手型（提供小型项目资源实操）。主题覆盖：生成式 AI 与 LLM 基础、提示技术、构建生成式 AI 应用（RAG）、微调基础、常见挑战与评估、未来趋势。其 20 天日程包含：GenAI 定义、ChatGPT 类模型如何训练（训练/微调/强化学习/对齐）、基础与进阶提示工程、幻觉与成因、上下文长度、RAG 四阶段、嵌入与向量数据库、LLM 评估、微调、RLHF、LLM 智能体、对抗攻击、新兴趋势（SLM/多模态/Agent/具身 AI）等。课程的立场清晰：重应用理解与搭建，不教如何从零构建模型。

---

从基础到实践：仓库内的延续路径

LLM Foundations 是整个知识体系的地基，主题页将其与相邻主题和后续旅程明确串联：

• 相邻主题：基础之上是 Prompting（提示与上下文）、RAG（检索增强生成） 与 Agents（AI 智能体）——三者正是 5 天路线 Day 2–4 的深化方向；
• 研究旅程：Understand AI 在 101 打好基础后，进入 201 的活跃研究方向（推理、Agent、RAG、对齐、评估）与 301 的前沿信息流（月度论文、研究表、State of AI 2025 报告）；
• 构建旅程：Build AI 从 101 基础出发，进阶到 201（RAG、Agent、评估、微调、护栏）与 301（LLMOps、生产规模、安全、系统设计）；
• 一站式总目录：全部免费课程按主题分组的完整清单在 courses.md，按目标导向的引导序列见 learning paths。

引用与致谢：本专题内容组织由 LevelUp Labs 团队维护，课程讲义基于 Applied LLMs Mastery 2024 与 Generative AI Genius，均已归档/免费提供。如需引用本指南，README 中提供了统一的 BibTeX 引用格式（见 README.md 的 Cite Us 小节）。仓库采用 MIT 协议（LICENSE.md）。