本地运行 1800 亿参数大模型的终极方案:halogen-flash-server 完全解析(附实测性能数据)

原创2026-10-17 22:18:461,400 阅读

本地运行 1800 亿参数大模型的终极方案:halogen-flash-server 完全解析(附实测性能数据)

halogen-flash-server 是目前在 AMD Strix Halo 掌机上本地运行约 1800 亿参数(179.55B)大模型 Qwen3.8-Flash-Next 的最快方案:无需任何云端 API,单机 128 GB 统一内存即可跑起这个体量的模型,长会话中每一轮对话的首 token 约 1.6 秒到达,代码场景解码速度最高 94 tok/s ⚡。它的全部计算内核都为"这一个 GPU(gfx1151)+ 这一个模型家族"专门编写,没有通用运行时、没有移植层、没有回退路径——这正是它快、也是它只跑在 Strix Halo 上的原因。

halogen-flash 品牌主视觉:本地大模型推理引擎 halogen 的标志

为什么 1800 亿参数模型能塞进一台掌机?

先解决一个疑问:125B 主干参数 + 51B n-gram 嵌入表,BF16 精度需要 335 GiB,FP8 也需要 173 GiB,而 Strix Halo 整机只有 124 GB 可用内存——量化不是优化,是正确性前提。halogen-flash-server 的 v2 checkpoint 给出了一个按张子族精细分配比特的方案 📦:

部分 精度 说明
专家层与主干 4-bit 全模型平均仅 4.16 bpw
专家层之间的 mixing 层 6-bit 损失最敏感的部分多给 2 bit
draft head 稠密投影 8-bit 提升推测解码接受率
n-gram 查找表 FP8,47.7 GiB 独立文件,按需分页读入,不常驻内存

整个 v2 checkpoint 只有 62.1 GiB。逐张子族的精度分解和算术可复算过程见 docs/QUANT.md。

实测性能数据一览(0.18.0 默认配置)

以下全部数字来自公开镜像 + 默认配置(v2 checkpoint、prompt cache 开启、贪心采样、thinking 关闭),实测硬件为 AMD Ryzen AI Max+ 395(Radeon 8060S / gfx1151),128 GB 统一内存,持续包功耗约 85 W 📊:

场景 实测
解码 · 重复性输出(最佳情况) 最高 94 tok/s
解码 · 编写代码 / 编辑约 8000 token 代码 / agent 工具调用 73 / 81 / 71 tok/s
解码 · 英文散文 / 六种其他语言 54 / 52 tok/s
Prefill(8,192 / 32,768 / 131,072 token 提示词) 1,821 / 1,740 / 1,675 tok/s
Agent 整轮(30,000~96,000 token 上下文,115 轮中位数) 4.2 s(首 token 1.6 s)
冷启动首个 34,000 token agent 提示词 21 s

两个反直觉但重要的结论:

  • Prefill 几乎不随深度衰减:131,072 token 的吞吐仍保持 32,768 速率的 96%。
  • 解码速度几乎不受上下文长度影响:串行解码从 1,500 token 涨到 32,768 token 上下文,只掉约 7%。

完整逐行数据、测试方法学、旧版本对比,以及"用镜像自带 sweep / bench 一条命令复现"的步骤,都在 docs/performance.md。仓库还自带压测工具 tools/halogen-bench.py 与 tools/bench-serving.py 供你验证自己的机器。

快在哪里?四个核心技术拆解

  1. 专属内核,零通用开销:每个 kernel 都针对 gfx1151 的硬件特征手写,能做通用引擎做不到的优化。
  2. 推测解码 = 纯加速,零质量损失:在 temperature: 0 时,输出与串行贪心解码逐字节一致——draft head 只做提议,token 必须通过完整模型验证才会发出。这是每个版本发布前都会门禁验证的性质,不是质量换速度的妥协(见 docs/quality.md)。
  3. Prompt cache 默认开启:会话的共享前缀不重复计算,只处理你真正新增的 token。100,000 token 的长对话,第一轮约 88 s,之后每一轮稳定在 2 s 左右,且不随对话变长而变慢。
  4. 镜像内置调优 GEMM plan:矩阵运算的选择是在目标硬件上实测后固化的,确定性强(同一提示词永远得到同一答案),且配对困惑度差异仅 0.0006 nats。

最快上手:三步本地部署

第 1 步:BIOS 里把 UMA 显存(UMA frame buffer)设为最小值,不要用 Auto 🛠。大多数引擎在这块硬件上想要尽量大的独显显存,halogen 正好相反——它要的是主机内存。某些主板上 Auto 会切走 64 GiB,权重直接装不进去。这是唯一容易踩的硬件坑。

第 2 步:一条命令启动(Docker 用户把 --group-add keep-groups 换成 --group-add video --group-add render 即可):

mkdir -p ~/halogen-models
podman run --rm -p 8731:8731 \
  --device /dev/kfd --device /dev/dri --group-add keep-groups \
  --ipc=host --ulimit memlock=-1:-1 \
  -e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next \
  -v ~/halogen-models:/models \
  ghcr.io/peonist-ai/halogen-flash-server:0.18.1

第 3 步:等权重下载完(约 111 GiB,支持断点续传,日志每 30 秒报一次进度),然后在同一网络的任意客户端访问 :8731 的 OpenAI 兼容接口。

镜像里的 deploy/entrypoint.sh 处理了启动细节;仓库提供的 docker-compose.yml 会把 API 与引擎拆成两个容器——注意两个容器必须使用同一版本 tag。若需要 clone 源码,仓库地址为 https://gitcode.com/gh_mirrors/ha/halogen-flash-server 。

开箱即用的 OpenAI 兼容 API 与 agent 生态

同一个端口(默认 8731)提供多条兼容路由,现有客户端基本零改造接入 🔌:

  • POST /v1/chat/completions:OpenAI 标准,支持 function calling、结构化输出(response_format)、图像输入、timings 观测字段;
  • POST /v1/responses:OpenAI Responses API,Codex CLI 直接驱动(见 docs/codex.md);
  • POST /v1/messages:Anthropic Messages API,Claude Code 直接驱动(见 docs/claude-code.md)。

每个响应都带 timings 对象(prompt_n、predicted_n、cache_n、draft_n_accepted 等速率指标),性能表现可观测。0.18.1 还新增了断连重试验证恢复、prompt_cache_policy: "no_store" 等 agent 友好特性。全部端点与状态码见 docs/api.md。

NPU 并行侧车:同一端口旁路还可以让 NPU 同时跑小模型——分类决策(decider-0.8b)、向量嵌入、重排序、内容审核、短文本生成(qwen3.5-2b)、图像生成(flux2-klein-4b)、语音转文字(qwen3-asr,最长 20 分钟)。GPU 跑 1800 亿参数、NPU 干杂活,互不抢资源。配置与 fabric clock 要求见 docs/NPU.md;rootless podman 用户可安装 deploy/host/halogen-fabric-clock.service 系统服务在每次开机时锁定 GPU fabric clock。

常见问题速查:故障排查

症状 原因与解法
启动即报 out of memory / refusing to pin KV pool 装不下。旋钮是 pool 而非 slots:加 -e HALOGEN_KV_POOL_POSITIONS=262144,必要时再加 -e HALOGEN_MAX_TOK=16384
卡在 reserving the KV pool 几分钟不动 通常是上一个 GPU 进程退出时没归还内存——重启宿主机再启动,等是等不回来的
能启动但长 prompt 很慢、磁盘繁忙 权重页被内核当"可回收缓存"换出。加 -e HALOGEN_WEIGHTS_LOCK=1 让权重锁死不可回收
Fedora 报 Memory critical error by agent node-0 SELinux 拦截,见 docs/troubleshooting.md 对应小节

另外两条影响数字的宿主机设置:IOMMU 关闭(passthrough)值得 13~16% 的 prefill 提速;功耗包络要对齐——70 W 限功耗的掌机会比 85 W 整机低 11~12% 的解码速度,这是功耗墙而非引擎差异。实测所用的完整内核命令行都公开在 docs/troubleshooting.md 的 "The host settings" 小节。

它的边界:什么不是 halogen-flash-server

了解限制能帮你判断它是否适合你的场景:

  • 只跑一块 GPU:gfx1151 硬编码,其他架构直接拒绝启动;
  • 约 4 路并发对话,不是 40 路:无抢占、无换页,超出 4 路后吞吐增长缓慢;推测解码在 3 路以上退化为批量步;
  • 图像是输入不是输出:模型可读图,但生成图像靠 NPU 侧车的 flux2-klein-4b;
  • 建议独占整机:权重常驻 + KV pool 预留,128 GB 机器上只剩约 12 GB,且大部分不连续——跑数据库或另一个模型容易触发内核内存压缩停滞,详见 docs/host-setup.md;
  • 1M 上下文、注意力预算、API Key 等均为 opt-in,需要不同的配置组合,见 docs/limits.md 与 docs/configuration.md。

延伸阅读:关键文档索引

主题 文档
快速开始与升级 checkpoint docs/getting-started.md
全部实测数据与复现方法 docs/performance.md
量化精度分解 docs/QUANT.md
质量:测了什么、没测什么 docs/quality.md
API 参考 docs/api.md
配置项(cache 模式 / KV pool / 磁盘缓存 / 1M 上下文) docs/configuration.md
自带 GGUF(如 unsloth UD-IQ4_XS)直接加载 docs/gguf.md
全部环境变量参考 docs/FLAGS.md
面向 AI agent 的部署/调试手册 AGENTS.md

总结:如果你的机器是 Strix Halo(gfx1151),而你想在本地跑一个接近前沿体量的 1800 亿参数模型给 agent 当大脑,halogen-flash-server 是目前该硬件上性能上限最高的选择——一条命令部署、OpenAI 兼容 API、字节级确定的输出质量、公开可复现的性能数据,全部开箱即得 🚀。

登录后查看全文
halogen-flash-server