本地运行 1800 亿参数大模型的终极方案:halogen-flash-server 完全解析(附实测性能数据)
本地运行 1800 亿参数大模型的终极方案:halogen-flash-server 完全解析(附实测性能数据)
halogen-flash-server 是目前在 AMD Strix Halo 掌机上本地运行约 1800 亿参数(179.55B)大模型 Qwen3.8-Flash-Next 的最快方案:无需任何云端 API,单机 128 GB 统一内存即可跑起这个体量的模型,长会话中每一轮对话的首 token 约 1.6 秒到达,代码场景解码速度最高 94 tok/s ⚡。它的全部计算内核都为"这一个 GPU(gfx1151)+ 这一个模型家族"专门编写,没有通用运行时、没有移植层、没有回退路径——这正是它快、也是它只跑在 Strix Halo 上的原因。
为什么 1800 亿参数模型能塞进一台掌机?
先解决一个疑问:125B 主干参数 + 51B n-gram 嵌入表,BF16 精度需要 335 GiB,FP8 也需要 173 GiB,而 Strix Halo 整机只有 124 GB 可用内存——量化不是优化,是正确性前提。halogen-flash-server 的 v2 checkpoint 给出了一个按张子族精细分配比特的方案 📦:
| 部分 | 精度 | 说明 |
|---|---|---|
| 专家层与主干 | 4-bit | 全模型平均仅 4.16 bpw |
| 专家层之间的 mixing 层 | 6-bit | 损失最敏感的部分多给 2 bit |
| draft head 稠密投影 | 8-bit | 提升推测解码接受率 |
| n-gram 查找表 | FP8,47.7 GiB | 独立文件,按需分页读入,不常驻内存 |
整个 v2 checkpoint 只有 62.1 GiB。逐张子族的精度分解和算术可复算过程见 docs/QUANT.md。
实测性能数据一览(0.18.0 默认配置)
以下全部数字来自公开镜像 + 默认配置(v2 checkpoint、prompt cache 开启、贪心采样、thinking 关闭),实测硬件为 AMD Ryzen AI Max+ 395(Radeon 8060S / gfx1151),128 GB 统一内存,持续包功耗约 85 W 📊:
| 场景 | 实测 |
|---|---|
| 解码 · 重复性输出(最佳情况) | 最高 94 tok/s |
| 解码 · 编写代码 / 编辑约 8000 token 代码 / agent 工具调用 | 73 / 81 / 71 tok/s |
| 解码 · 英文散文 / 六种其他语言 | 54 / 52 tok/s |
| Prefill(8,192 / 32,768 / 131,072 token 提示词) | 1,821 / 1,740 / 1,675 tok/s |
| Agent 整轮(30,000~96,000 token 上下文,115 轮中位数) | 4.2 s(首 token 1.6 s) |
| 冷启动首个 34,000 token agent 提示词 | 21 s |
两个反直觉但重要的结论:
- Prefill 几乎不随深度衰减:131,072 token 的吞吐仍保持 32,768 速率的 96%。
- 解码速度几乎不受上下文长度影响:串行解码从 1,500 token 涨到 32,768 token 上下文,只掉约 7%。
完整逐行数据、测试方法学、旧版本对比,以及"用镜像自带 sweep / bench 一条命令复现"的步骤,都在 docs/performance.md。仓库还自带压测工具 tools/halogen-bench.py 与 tools/bench-serving.py 供你验证自己的机器。
快在哪里?四个核心技术拆解
- 专属内核,零通用开销:每个 kernel 都针对 gfx1151 的硬件特征手写,能做通用引擎做不到的优化。
- 推测解码 = 纯加速,零质量损失:在
temperature: 0时,输出与串行贪心解码逐字节一致——draft head 只做提议,token 必须通过完整模型验证才会发出。这是每个版本发布前都会门禁验证的性质,不是质量换速度的妥协(见 docs/quality.md)。 - Prompt cache 默认开启:会话的共享前缀不重复计算,只处理你真正新增的 token。100,000 token 的长对话,第一轮约 88 s,之后每一轮稳定在 2 s 左右,且不随对话变长而变慢。
- 镜像内置调优 GEMM plan:矩阵运算的选择是在目标硬件上实测后固化的,确定性强(同一提示词永远得到同一答案),且配对困惑度差异仅 0.0006 nats。
最快上手:三步本地部署
第 1 步:BIOS 里把 UMA 显存(UMA frame buffer)设为最小值,不要用 Auto 🛠。大多数引擎在这块硬件上想要尽量大的独显显存,halogen 正好相反——它要的是主机内存。某些主板上 Auto 会切走 64 GiB,权重直接装不进去。这是唯一容易踩的硬件坑。
第 2 步:一条命令启动(Docker 用户把 --group-add keep-groups 换成 --group-add video --group-add render 即可):
mkdir -p ~/halogen-models
podman run --rm -p 8731:8731 \
--device /dev/kfd --device /dev/dri --group-add keep-groups \
--ipc=host --ulimit memlock=-1:-1 \
-e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next \
-v ~/halogen-models:/models \
ghcr.io/peonist-ai/halogen-flash-server:0.18.1
第 3 步:等权重下载完(约 111 GiB,支持断点续传,日志每 30 秒报一次进度),然后在同一网络的任意客户端访问 :8731 的 OpenAI 兼容接口。
镜像里的 deploy/entrypoint.sh 处理了启动细节;仓库提供的 docker-compose.yml 会把 API 与引擎拆成两个容器——注意两个容器必须使用同一版本 tag。若需要 clone 源码,仓库地址为 https://gitcode.com/gh_mirrors/ha/halogen-flash-server 。
开箱即用的 OpenAI 兼容 API 与 agent 生态
同一个端口(默认 8731)提供多条兼容路由,现有客户端基本零改造接入 🔌:
POST /v1/chat/completions:OpenAI 标准,支持 function calling、结构化输出(response_format)、图像输入、timings观测字段;POST /v1/responses:OpenAI Responses API,Codex CLI 直接驱动(见 docs/codex.md);POST /v1/messages:Anthropic Messages API,Claude Code 直接驱动(见 docs/claude-code.md)。
每个响应都带 timings 对象(prompt_n、predicted_n、cache_n、draft_n_accepted 等速率指标),性能表现可观测。0.18.1 还新增了断连重试验证恢复、prompt_cache_policy: "no_store" 等 agent 友好特性。全部端点与状态码见 docs/api.md。
NPU 并行侧车:同一端口旁路还可以让 NPU 同时跑小模型——分类决策(decider-0.8b)、向量嵌入、重排序、内容审核、短文本生成(qwen3.5-2b)、图像生成(flux2-klein-4b)、语音转文字(qwen3-asr,最长 20 分钟)。GPU 跑 1800 亿参数、NPU 干杂活,互不抢资源。配置与 fabric clock 要求见 docs/NPU.md;rootless podman 用户可安装 deploy/host/halogen-fabric-clock.service 系统服务在每次开机时锁定 GPU fabric clock。
常见问题速查:故障排查
| 症状 | 原因与解法 |
|---|---|
启动即报 out of memory / refusing to pin |
KV pool 装不下。旋钮是 pool 而非 slots:加 -e HALOGEN_KV_POOL_POSITIONS=262144,必要时再加 -e HALOGEN_MAX_TOK=16384 |
卡在 reserving the KV pool 几分钟不动 |
通常是上一个 GPU 进程退出时没归还内存——重启宿主机再启动,等是等不回来的 |
| 能启动但长 prompt 很慢、磁盘繁忙 | 权重页被内核当"可回收缓存"换出。加 -e HALOGEN_WEIGHTS_LOCK=1 让权重锁死不可回收 |
Fedora 报 Memory critical error by agent node-0 |
SELinux 拦截,见 docs/troubleshooting.md 对应小节 |
另外两条影响数字的宿主机设置:IOMMU 关闭(passthrough)值得 13~16% 的 prefill 提速;功耗包络要对齐——70 W 限功耗的掌机会比 85 W 整机低 11~12% 的解码速度,这是功耗墙而非引擎差异。实测所用的完整内核命令行都公开在 docs/troubleshooting.md 的 "The host settings" 小节。
它的边界:什么不是 halogen-flash-server
了解限制能帮你判断它是否适合你的场景:
- 只跑一块 GPU:gfx1151 硬编码,其他架构直接拒绝启动;
- 约 4 路并发对话,不是 40 路:无抢占、无换页,超出 4 路后吞吐增长缓慢;推测解码在 3 路以上退化为批量步;
- 图像是输入不是输出:模型可读图,但生成图像靠 NPU 侧车的
flux2-klein-4b; - 建议独占整机:权重常驻 + KV pool 预留,128 GB 机器上只剩约 12 GB,且大部分不连续——跑数据库或另一个模型容易触发内核内存压缩停滞,详见 docs/host-setup.md;
- 1M 上下文、注意力预算、API Key 等均为 opt-in,需要不同的配置组合,见 docs/limits.md 与 docs/configuration.md。
延伸阅读:关键文档索引
| 主题 | 文档 |
|---|---|
| 快速开始与升级 checkpoint | docs/getting-started.md |
| 全部实测数据与复现方法 | docs/performance.md |
| 量化精度分解 | docs/QUANT.md |
| 质量:测了什么、没测什么 | docs/quality.md |
| API 参考 | docs/api.md |
| 配置项(cache 模式 / KV pool / 磁盘缓存 / 1M 上下文) | docs/configuration.md |
| 自带 GGUF(如 unsloth UD-IQ4_XS)直接加载 | docs/gguf.md |
| 全部环境变量参考 | docs/FLAGS.md |
| 面向 AI agent 的部署/调试手册 | AGENTS.md |
总结:如果你的机器是 Strix Halo(gfx1151),而你想在本地跑一个接近前沿体量的 1800 亿参数模型给 agent 当大脑,halogen-flash-server 是目前该硬件上性能上限最高的选择——一条命令部署、OpenAI 兼容 API、字节级确定的输出质量、公开可复现的性能数据,全部开箱即得 🚀。
