AI-Notes 文本大模型全景指南:从 GPT 系谱、开源替代到提示工程与本地部署实战
AI-Notes 文本大模型全景指南:从 GPT 系谱、开源替代到提示工程与本地部署实战
本文以 TEXT.md 为绝对核心骨架,系统梳理了该笔记仓库中关于文本生成与语言模型(以 GPT 系列为主线)的全部要点:包括 GPT-1/2/3/4 的参数规模演进、PaLM/LLaMA/BLOOM/GLM/OPT/Dolly 等直接替代模型与开源生态、本地运行工具链(llama.cpp、GGUF、Ollama、GPT4All、PrivateGPT、MLC)、提示工程技术栈、GPT 工具链与产品化、上下文窗口处理、伦理问题等。读者读完可获得一张完整的"文本 LLM 技术地图",并掌握从模型选型、基准评估、本地部署到提示工程与产品落地的可实操路径。
导读:为什么文本模型是 AI 工程的第一站
在 AI-Notes 仓库中,TEXT.md 被 README.md 明确标记为"text generation, mostly with GPT-4"的顶层笔记,与 TEXT_CHAT.md(ChatGPT 及竞品)、TEXT_SEARCH.md(语义搜索)、TEXT_PROMPTS.md(提示词 swipe file)、CODE.md(代码生成)共同构成文本智能的完整拼图。对软件工程师而言,文本 LLM 是生成式 AI 中最成熟、最易落地、资料最密集的领域——本文即按原文档脉络,把这条技术主线完整展开。
一、语言模型全景:从 GPT 系谱到开源替代
原文档开篇即给出"Big list of Text Models",并提供了四条主线线索:GGUF 本地模型榜单、模型基准、模型演进历史、以及家族树。以下逐条展开。
1.1 模型规模演进史:GPT 系谱是理解一切的锚点
原文档引用 Jon Stokes 的叙述,给出了一条清晰的参数规模时间线,这是理解整个文本模型世界的地基:
- BERT(2018):世界上第一个被称为 LLM 的模型,约 3.45 亿(345 million)参数。文档用"包含 3.45 亿项的方程"来直观比喻参数规模。
- GPT-1(2018,OpenAI):1.17 亿参数,延续了 Google 开创的 BERT 式自监督路径。
- GPT-2(2019):15 亿参数。
- GPT-3(2020):1750 亿参数,发布时是有史以来最大的 LLM 和神经网络,训练于约 3000 亿 token 上(数据构成见下文"数据集"一节)。
- GPT-4(2023 年 3 月):在 GPT-3 基础上迭代,参数规模未公开,当时传闻约 1 万亿(1T)量级。
更完整的演进路径在原文档中被概括为:Knowledge Graphs → ELMO(LSTM 时代)→ Transformers → BERT → T5,并特别指出 RNN/CNN 类模型无法建模长距离依赖、信息损失严重,这正是 Transformer 架构胜出的根本原因。仓库 README.md 的 Advanced Reads 部分补充了更深的背景:Transformer 是"通用可微计算机",同时具备表达力(前向传播)、可优化性(反向传播+梯度下降)与高效性(高度并行的计算图)。
1.2 直接 GPT 替代模型清单(原文档核心内容)
原文档用大量篇幅罗列了各大机构对 GPT 的直接替代品,这是全文信息密度最高、实战选型价值最大的部分:
| 模型 | 规模 | 关键事实(依原文档) | 许可/可运行性 |
|---|---|---|---|
| Eleuther GPT-J-6B / GPT-NeoX | 6B / 20B | GPT-J 训练 200k 步、GPT-NeoX 训练 350k 步 | 开源 |
| Google PaLM | 570B | 基于 Pathways 下一代架构 | 未开放权重 |
| Google FLAN-T5 | 11B 等 | 指令微调;checkpoint 公开、无需申请访问 | 开源 |
| Google LaMDA | 137B | 2022 年 2 月,在 1024 块 TPU v3 上训练 57.7 天,成本约 $4.5M | 未开放 |
| Yandex YaLM 100B | 100B | 800 块 A100、65 天、1.7TB 文本 | 开源 |
| BIGScience BLOOM | 176B / 7B | 法国政府支持、训练近 4 个月、成本约 $2-5M、低碳足迹 | 开放许可 |
| 清华 GLM-130B | 130B | 仅训练 400B tokens,开源可本地免费运行 | 开源 |
| Meta OPT-175B | 175B | 评价一般(bad reviews) | 开源(研究许可) |
| Meta OPT-IML | 175B | 在 2000 个语言任务上做指令元学习(instruction meta-learning) | 非商用 |
| Databricks Dolly | 1.0 / 2.0 | 1.0 用 $30 在 Alpaca 数据上微调;2.0 用员工众包数据 | 1.0 学术许可 |
几个值得深入的关键细节:
- LaMDA 的混合事实来源:文档记录 LaMDA 同时使用检索增强生成(RAG)与 Toolformer 技术,维护 Search、Calculator 等工具集,并执行"Research"任务——预测工具集与查询,最多循环 4 轮,因此"不依赖模型记忆事实"。它的训练成本约 $1-4M,参数量(137B)小于 GPT-3(175B),但训练 token 更多(2.8T vs 1.4T)。
- BLOOM 的本地运行:原文档特别提到
bloomz.cpp(llama.cpp的适配版)让你可以在笔记本上运行开放许可的 BLOOM;在 M1 Pro 上 BLOOMZ-7B1 可达 16 tokens/sec。 - OPT-IML 的工程细节:指令微调 + Chinchilla 缩放定律 + 4-bit 量化 + 双向注意力;4-bit 量化后可在单张 80GB A100 或消费级 GPU 上运行;但原文档记录其表现不如 Flan-T5。
- Dolly 2.0 的 7 类众包任务(原文档完整列出,是理解指令微调数据构造的绝佳案例):开放 Q&A、封闭 Q&A(仅用给定段落作答)、从 Wikipedia 提取信息、概括 Wikipedia 段落、头脑风暴、分类判断、创意写作。
1.3 LLaMA 及衍生家族:开源 LLM 的转折点
原文档将 LLaMA 单独成节,称其为本地 LLM 生态的"山羊(GOAT)"级事件,并梳理了完整生态:
运行方式(ways to run)——这是原文档给出的核心实操清单:
ollama run modelname(Ollama):最易上手,支持ollama pull modelname拉取新模型,支持 llama2、mistral、vicuna、falcon 等- GPT4All(免费、本地运行、隐私友好,无需 GPU 和联网)
- Faraday(桌面端)
- llama.cpp:C/C++ 移植,可在 MacBook 上运行 LLM 的先驱,并催生了 GGUF 新模型格式
- MLC Chat / LLM Farm:iPhone 上运行(用 iPhone GPU/Metal 而非 Apple Neural Engine)
- Enchanted:开源 iOS 应用,兼容 Ollama,本质是连接私有模型的 ChatGPT UI
npx dalai llama:Dalai 一行命令跑 LLaMA- llama-mps:macOS 版本;int8 量化 fork;树莓派/Pixel 6 也可运行(速度慢)
LLaMA 微调与衍生模型(原文档重点覆盖):
- Alpaca(斯坦福):用 OpenAI 模型把 175 条人工指令对扩成 52k+ 条指令数据,在 LLaMA 上微调,7B 版本训练成本不到 $600;配套 alpaca.cpp 可本地运行。
- Alpaca-LoRA:用低秩适配复现 Alpaca。
- Vicuna(UC Berkeley、CMU、Stanford、UCSD):LLaMA 微调版,官方称匹配 GPT-4 表现;权重获取见 FastChat。
- Koala(BAIR):用互联网对话微调。
- ColossalChat(UC Berkeley Colossal-AI):基于 LLaMA 的完整 RLHF 管线 ChatGPT 克隆。
- GPT4All(Nomic AI):从约 40 万条 ChatGPT-3.5-Turbo assistant 风格样本中精选 43 万高质量 prompt/generation 训练对,M1 Mac 上可实时采样。
- FreedomGPT、ChatLLaMA、Open-Assistant:更多开源对话助手。
- RedPajama / OpenLLaMA:复刻 LLaMA 的开源数据与训练,OpenLLaMA 7B 在 RedPajama 数据上训练 200B tokens。
微调技术对比(原文档用一段话讲透两个核心概念):
- LoRA:对模型权重矩阵做低秩分解,减少可训练参数数。
- Adapter(LLaMA Adapter):在预训练冻结的 7B LLaMA 之上加 120 万小参数适配层,同用 52K 指令数据,1 小时微调完成(对比 Alpaca 在 8 块 A100 上 3 小时),效果与 Alpaca 相当。
- Simple LLaMA Finetuner:初学者友好界面,用 PEFT 库的 LoRA 方法在消费级 NVIDIA GPU 上微调 LLaMA-7B;样本长度 256、小数据集时甚至可在 Colab T4 上运行。
"无审查"(uncensored)衍生:llama2_7b_chat_uncensored、Wizard-Vicuna-13B-Uncensored、GPT4-x-alpaca、Nous Hermes(基于 30 万+ 指令微调的 Llama 2 13B,特点是长回答、低幻觉率、无 OpenAI 审查机制)。原文档明确这些模型的共同"起源故事"与许可限制——注意:多数基于 OpenAI 输出训练的指令模型(Alpaca、Koala、GPT4All、Vicuna)在商业使用上存在争议(OpenAI 服务条款禁止用其输出训练竞争模型)。
llama2 专节要点:Latent Space 详细分析、finetuning recipes(llama-recipes)、32k 上下文版本(Together)、以及 NSQL-LLaMA-2-7B 代码微调版。同时给出开放性评论:原文档记录 65B 输出的演示与"outputs are not very good"的反例,提醒读者对本地模型质量要有合理预期。
1.4 其他文本模型
原文档"Other text models"节覆盖的补充模型:
- Cerebras-GPT:计算高效但有意"欠训练"(undertrained)的 13B 模型,约 GPT-3 的 6% 规模,可运行在 4GB 显存,但整体表现不如 LLaMA 或 ChatGPT。
- Dolly 6B(dolly-v1-6b):基于 GPT-J(2021 年 6 月),用约 52K 条指令数据微调,8x A100 40GB 单机 30 分钟训练完成(deepspeed ZeRO 3);仅学术许可。
- GPT-JT(分类):Together 的指令模型,配套 playground。
- Falcon:HuggingFace 博客与 chat demo。
- GPT-3.5 家族谱系(原文档完整给出的模型关系):
code-davinci-002:基础模型,适合纯代码补全text-davinci-002:基于 code-davinci-002 的 InstructGPT 模型text-davinci-003:text-davinci-002 的改进版——据 Scale 对比,003 分类能力提升 30%,能押韵、能写抑扬格五音步,更长(平均每句 42 词 vs 23 词)
- ChatGPT:对话式交互,能回答追问、承认错误、质疑错误前提、拒绝不当请求。
- FlashAttention:训练提速 3-5 倍,长序列 prompt 摄入极快。
- 未发布但值得关注:BloombergGPT(用数十年金融新闻与数据训练的垂直领域模型)。
二、GPT-4:发布前后的预测、能力与争议
2.1 发布前预测(原文档记录)
文档保留了发布前对 GPT-4 的公开推测,作为理解其"提升方向"的史料:最大模型约 1T 参数(指令微调用 100 倍小模型即可达到同等质量)、训练 token 提升到 10T(对齐 Chinchilla 缩放曲线)、上下文 16384 tokens、预训练建模采用类似 UL2 的损失函数、总计算量提升至少 800 倍。
2.2 能力边界与失败模式(结合 GPT-4 notes and capabilities.md 扩充)
仓库 Resources/GPT-4 notes and capabilities.md 对 TEXT.md 的 GPT4 节做了详尽展开,核心事实:
- "Sparks of AGI"(微软论文):coding 3D 游戏演示;但明确失败——GPT-4 不能提前规划(如讲笑话无法构思包袱)、数不清"本回复中有多少词"。
- 基准表现:MMLU 86.4%、击败 HellaSwag 等;数学上匹配/超越 Minerva;经济学期中考试从 GPT-3.5 的 D 提升到 A。
- 上下文:8k tokens 起步、最高 32k(约 25,000 词/50 页文本),可以整篇拉入 Wikipedia 文章;32k 版本当时定价每 1k tokens $2。
- 架构传闻:Sparse MoE(稀疏混合专家)导致输出非确定性;流传为 8×220B 或 16×110B(每次前向咨询 2 个专家)、训练 13T tokens、成本约 $63M(另一估计:单次运行 $40M、总投入 >$100M;当时未公开确认)。上述均为传闻/推测,原文档与仓库均未给出官方确认,引用时需谨慎标注来源性质。
- 对齐税(alignment tax):源自 How does GPT Obtain its Ability——监督微调(→text-davinci-002)或 RLHF(→text-davinci-003)后,模型在多数任务上无法超越 code-davinci-002,即对齐带来的能力代价;对话能力(ChatGPT)也以牺牲部分 in-context learning 为代价,换取建模对话历史、信息量提升与拒绝知识范围外问题。
- 应用侧:草稿→网站(hand sketch into website)、读图出食谱、Discord 机器人 API 编码、"TaxGPT"(详细列出计算与推理步骤的税务角色扮演提示)等。
2.3 gpt4 的批评与安全争议
原文档收录了针对 GPT-4 的批评:未公开技术细节、未公布参数数量(Sam Altman 的"you have not been a good user")、训练于 2022 年 8 月完成但数据截止 2021 年 9 月、基准污染(leetcode/AMC 泄露导致分数虚高)、安全测试中 ARC agent"复制自己"等。仓库 GPT-4 notes and capabilities.md 补充了 non-determinism(Sparse MoE)与 2 张 H-100 部署限制(参数限制在 160GB)等讨论。
三、不要叫它"生成式":语言模型的真实本质
原文档专门用一节讨论命名问题,核心论点:
- 推理引擎(Reasoning):GPT-4 更像是推理引擎而非生成器。
- 理解(Understanding):模型具备某种意义上的理解。
- 反方观点:随机鹦鹉(stochastic parrot)/自回归模型的批评者(Eliezer Yudkowsky)认为其本质仍是概率性文本复述。
这一节提醒工程师:不要把"文本生成"当作唯一心智模型,LLM 的能力边界在于其训练目标(下一 token 预测)与训练数据,规划、计数、长链推理仍是其短板(详见上文 GPT-4 失败模式)。
四、专化语言模型与文本应用集
4.1 专化模型
原文档记录 Meta 的 Galactica(科学领域语言模型,曾因争议下架,相关 HN 讨论见文档),并指出"专化模型"是文本模型的重要分支——与 Resources/DATASETS.md 中"special purpose"数据(FLAN 千任务级数据集、text-to-SQL 的 Spider/nsql-6B)相互印证。
4.2 文本应用清单(原文档 GPT3 applications 节)
原文档罗列了大量可复现的应用模式,这里整理成可直接借鉴的分类:
| 应用类别 | 代表例子 |
|---|---|
| 代码/编程 | text-to-graphviz;挂 Python 解数学(把问题丢给 Python REPL 再返回答案);解释代码 diff(WhatTheDiff) |
| 摘要 | Amelia 段落摘要、summate.it、QuillBot |
| 写作 | Lex.page、NovelAI、TavernAI、Verb、Orchard、DeepMind Dramatron(剧本/话剧协作写作,从 log line 生成角色、情节、场景、对白) |
| 提示词产品 | Humanloop(变量插值+API 端点+反馈收集)、Everyprompt(同思路+显示不可见字符)、Dust.tt(k-shot 数据集/模板/链的可折叠树 UI) |
| 对话/模拟 | 模拟真人、角色化故事生成(Rick and Mortify)、下国际象棋实验 |
| 集成 | Obsidian(obsidian-ava)、Chrome 扩展(GPT-Prompter)、Google Sheets、WhatsApp/Telegram/Discord 机器人、SlackGPT |
| 全流程 | 从零做一个 App 上架 App Store |
4.3 GPT-4 应用
原文档补充 GPT-4 应用摘要线程(Turkish Carpet Salesman 等演示),以及"wiring up LLMs to python"(Karpathy 的 Python 接线思路)。
五、提示工程阅读路线(原文档核心章节)
原文档给出了从入门到进阶的分级学习路径,是本文最具操作性的部分之一:
入门(Beginner):
- 过一遍 GPT3 examples(当时在 beta.openai.com/examples)
- OpenAI GPT Best Practices(现 platform.openai.com/docs/guides/gpt-best-practices)
进阶(Intermediate):
- 部署 GPT-2(huggingface.co/gpt2)、玩小型 GPT-3 模型
- 自问(self-asking)/两步提示与 思维链(Chain-of-Thought):让模型先拆解再作答,思维链能力约在 100B 参数时涌现
- 含大量示例的提示结构(review feedback extraction)
- Ask Me Anything(AMA) 提示策略
- 用 GPT-3 生成 text2image 提示词
高级(Advanced):
- 用 GPT-3 写博客、解 Advent of Code(aoc-gpt)
- 集成 Google Search 的 GPT-3
- "You are X, you can do Y"(natbot 提示范式,教 AI 钓鱼)
- Prompt Alternating/Editing/Weighting/Blending/Fusion(gist)
- 对抗提示注入(prompt injection defense)
- dair-ai/Prompt-Engineering-Guide:survey 论文(Pre-train Prompt Predict、A Taxonomy of Prompt Modifiers、Emergent Abilities)、应用论文(法律判断预测、diffusion 提示工程、Copilot/Codex 提示研究)、技术论文(Ask Me Anything、提示顺序敏感性、AutoPrompt、APEL、Structured Prompting 到 1000 示例、Prompt Programming、PromptChainer、Contrastive Search)
学术(Academics):
- P3(BigScience 公开提示池)+ Promptsource
- RAFT 数据集(现实标注 few-shot 任务)
- 思维链与自洽性(self-consistency):在同一模型上采样多条推理路径再投票
- UL2 20B(开放统一语言模型)
- GPT-JT 构建
仓库 TEXT_PROMPTS.md 对提示工程做了更细的补充(可作为二级参考文献):CoT 中 Let's think step by step 在 MultiArith 上把 GPT-3 准确率从 17.7% 提到 78.7%;least-to-most 分解推理;halter 模型(在每次推理后判断是否足以作答,不足则继续,避免幻觉式猜测);metaprompting 五阶段(comprehension clarification → preliminary judgment → critical evaluation → decision confirmation → confidence assessment);RLAIF 的 Alpaca 数据生成提示全文;JSON 结构化输出的系统提示与约束采样工具(jsonformer、guidance、outlines、ReLLM/ParserLLM)等。
六、GPT 的工作原理:从论文到从零实现
原文档把原理学习资源分成四层:
- 原始论文:Radford et al. 2018 Improving Language Understanding by Generative Pre-Training(GPT 原文)。
- 最小实现:Karpathy 的 minGPT(及 nanoGPT),被 MosaicML 用于"$500k 达到 GPT-3 质量"的复现;另见 jaymody 的 picoGPT(GPT from scratch)。
- 能力溯源(Yao Fu 的 How does GPT Obtain its Ability):这是原文档给出的最深刻的能力归因框架:
- 语言生成 ← 训练目标(自回归)
- 世界知识 ← 300B token 语料,存储在 175B 参数中
- in-context learning ← 预训练(davinci)
- 大量知识存储 ← 175B 规模
- 指令遵循与新任务泛化 ← 指令微调缩放(davinci-instruct-beta)
- 复杂推理 ← 训练于代码(code-davinci-002)
- 中立/客观/安全/信息性回答 ← 人类对齐(SFT→text-davinci-002,RLHF→text-davinci-003)
- 对话能力 ← RLHF(ChatGPT),代价是 in-context learning 的权衡
- tokenizer 细节:GPT 家族用
<|endoftext|>分隔文档,其 token id 是 [50256],编码器必须特殊处理该字符串。仓库 README.md 的 BPE 小节补充了完整的 tokenization 演进(WordPiece → BPE → SentenceTransformer),并指出 BPE 的缺陷(一个超长分隔线可以是单一 token、glitch tokens、数学与字符串计数问题),推荐 OpenAI tiktoken 作为现行工具。
七、GPT 工具链与产品化
7.1 提示工程工作台(原文档 GPT tooling 节)
原文档梳理的六大类工具:
- Humanloop:Playground + 变量插值 + API 端点 + 生成结果与用户行为反馈(用于微调数据收集)
- Everyprompt:同类产品,带 UX 改进(显示不可见字符)
- Promptable.ai:提示工程工作台——文件夹组织提示、流式补全、变量、模型参数(含自定义模型)、批量测试表格(多输入批量跑补全+标注列)、版本化与部署(API 拉取最新版本)
- LangChain:Python 包,实现并组合多种已发表提示技术(self-asking、web search、REPL 数学);所有 chain 有 verbose 选项,可按来源高亮(SQL DB、搜索引擎、Python REPL 等)。仓库 stub notes/LANGCHAIN.md 补充了其时间线(2023 年 1 月 HN 发布、4 月 Benchmark $10m 种子轮、7 月"Langchain is Pointless"争议、10 月 LangServe)与 100LOC 复刻实现。
- GPT Index(现 LlamaIndex)/ gpt_index:为"用 LLM 消费大型外部知识库"设计的数据结构集合(详见下文上下文处理)。
- Dust.tt:k-shot 数据集、提示模板、提示链的树状 UI。
- Spellbook(ScaleAI):自动写 k-shot、提示变体评估指标、提示转表格函数。
- Lamdaprompt + Sketch:pandas 扩展,用 lambdaprompt 给 DataFrame 加自然语言接口。
- 其他:mozilla readability-cli(把网页清洗为可读文本再喂 LLM)、Linus/thesephist 的系列工具(分支树、文本长度清洗、"大多数知识工作不是文本生成任务"的产品哲学)。
7.2 上下文窗口问题(dealing with GPT context size)
这是原文档单独成节的实战重点,核心方案:
- 多阶段顺序摘要:OpenAI 自己的长文档摘要论文方案——把长文本切成小块,每块用前一块的尾部窗口做上下文,递归逐级摘要。论文:Summarizing Books(arxiv 2109.10862)。
- GPT Index / LlamaIndex:LLM 的主要限制是上下文大小(Davinci 为 4096 tokens)。若想喂自定义知识,要么塞进 prompt,要么微调(昂贵)。索引结构让"外部知识库 + LLM"成为可行组合。
- HyDE(Hypothetical Document Embeddings):查询 → 生成"假设性答案" → 对假设答案做 embedding → 用该向量检索文档 embedding。
- Structured Prompting:把 in-context learning 扩展到 1000 个示例(arxiv 2212.06713)。
7.3 GPT 产品目录
原文档的 Products 节覆盖:gpt3demo 目录、Jasper、CopyAI、NotionAI、Hashnode Neptune、邮件(Ellie/Everyprompt mail/Merlin)、内容生成(byword.ai)、摘要器(explainpaper、Kagi、chatGPTBox)、SQL(Spider 基准、nsql-6B/NSQL-LLaMA-2-7B、Perplexity SQL、Vanna.ai 用 RAG 生成并运行 SQL)、CLI(chatblade、simonw/llm)、Zapier 集成、GPT3Discord、新锐工具(Typeface 企业内容生成、Embra 桌面端)。仓库 CODE.md 的 products 节补充了代码领域产品:Cursor、Tabby(自托管 Copilot)、CodeComplete(企业自托管)、Continue.dev、Aider、commit 消息生成、测试生成(Codium/TestGPT)、低代码(latent-browser、backend-GPT)等,可作为文本 LLM 产品化的横向参照。
八、伦理问题(原文档专节)
原文档记录了文本模型时代的三大伦理议题:
- Token 语言成本不均:部分语言的 token 消耗高出约 16 倍(成本视角的公平性问题)。
- Galactica 事件:Meta 科学模型上线两天即被撤下的争议与后续讨论。
- 数据与版权:仓库 Resources/DATASETS.md 的 data issues 节给出完整延伸:基准污染(contamination)、标签错误(labelerrors.com)、众包标注者用 LLM 作弊(论文估计 33-46% 的 Mechanical Turk 工人用 LLM 完成摘要任务)、数据枯竭与"数据变暗"(StackOverflow dump、Reddit API 商业化)。README 的 Legal/Ethics 节补充了训练数据抓取与生成内容版权的争议背景。
九、Flan-T5 与 Misc Text AI
原文档的 Flan-T5 节非常精简但信息量集中:Flan-T5 在 1,800+ 语言任务上做指令微调,显著提升提示与多步推理能力(7 分钟视频概述见原文档)。这与 1.2 节中"Flan-T5 11B 在 MMLU 和 Big-Bench Hard 上优于 OPT-IML,尽管计算效率高 10 倍"的记录互为印证——指令微调(instruction tuning)在中等规模模型上性价比极高。
Misc Text AI 节:OpenAI NarrativeQA(书籍摘要)与 GPT-2 下棋故事(Shawn Presser 与 Gwern 的实验),适合作为趣味延伸。
十、Karpathy 类比:GPT 是一台可编程文本计算机
原文档结尾收录了 Karpathy 的著名硬件类比,为工程师提供了理解 GPT 的直觉框架:
- 内存:GPT-4 的"RAM"约为
log2(50K vocab) × 32K context ÷ 8 bits/byte ≈ 64kB,大致相当于一台 Commodore 64;残差流(residual stream)是"寄存器",GPT-3 约有 12K 个寄存器(d_model 个)。 - CPU 指令集:
- LOAD = Attention 机制(可按位置和/或内容寻址)
- STORE = 每 n_layer 个时钟周期强制执行一次
- ALU = MLP + LayerNorm;因为参数不在层间共享,每个时钟周期 ALU 都会变化;MLP 也可看作固定的知识数据库查找
- 程序形态恒为
[[LOAD, ALU]*N, STORE]*M,其中 N = n_layer,M = num_tokens
- 架构本质:GPT 更接近"固定功能计算机"而非"存储程序计算机"——参数量巨大、程序描述极短,但它不是被工程化设计出来的,而是被优化出来的。
- 相关阅读:Div Garg 的 Software 3.0 版本,以及仓库 Software 3.0 stack.md、Resources/Understanding Transformers.md 可继续深挖。
十一、动手路线图:把笔记转化为可运行方案
综合全文,给出一个以仓库资料为依据的落地路径:
- 模型选型:先跑基准——仓库 Resources/BENCHMARKS.md 给出最省事的自评工具链:EleutherAI 的
lm-evaluation-harness(源自 MMLU 测试、驱动 Open LLM Leaderboard),同时关注斯坦福 CRFM/HELM 生态。数据集选型参考 Resources/DATASETS.md(C4 的四个变体en/en.noblocklist/en.noclean/realnewslike、The Pile 的 22 个子集、LLaMA 数据配方、Alpaca 52k 指令数据)。 - 本地运行:Ollama(
ollama run llama2)→ GPT4All → llama.cpp/GGUF(TheBloke 的 GGUF 权重)→ 手机端 MLC。 - 微调:参考 Resources/Finetuning.md——OpenAI 微调指南、gpt-llm-trainer、Llama 2 微调案例(Anyscale)、LoRA/Adapter 二选一(成本与数据量决定)。
- 提示工程与产品化:按第五节分级路径学习;用 Humanloop/Everyprompt/LangChain 做变量插值与链路;用多阶段摘要或 LlamaIndex 突破上下文限制;用 JSON 约束采样保证结构化输出。
- 伦理与合规:留意许可边界(非商用/学术许可模型清单见 1.2 与 1.3 节)、token 成本不均、数据污染问题。
结语
TEXT.md 的价值不在于单一结论,而在于它用极密的信息密度,把 2021-2023 年间文本 LLM 世界的"主战车型号"、能力归因、工具链与伦理争议完整归档。本文在此基础上结合仓库 README.md、Resources/DATASETS.md、Resources/BENCHMARKS.md、Resources/GPT-4 notes and capabilities.md、Resources/Finetuning.md、TEXT_CHAT.md、TEXT_PROMPTS.md、CODE.md、stub notes/LANGCHAIN.md、Software 3.0 stack.md 做了纵深扩充。需要提醒的是:本文中涉及模型参数、训练成本、能力对比的部分,凡未标注来源的,均以原文档记录为准;涉及 GPT-4 架构与成本的传闻,请以官方发布为准。这份地图的终点,是让工程师把"下一个 token 预测"变成真正可用的产品能力。