Deltafin磁盘策略完全指南:1.7TB完整模式、215GB流式模式与无损失scale4压缩怎么选

原创2026-10-25 23:37:251,876 阅读

Deltafin磁盘策略完全指南:1.7TB完整模式、215GB流式模式与无损失scale4压缩怎么选

Deltafin 是一个单二进制开源运行时,让你在单台设备上运行完整版(2.8 万亿参数、从不裁剪)的 Kimi K3 大模型,并附带 OpenAI 兼容 API 服务器。它的磁盘策略直接决定你能否在本地跑起这个"巨兽":1.7TB 完整模式、215GB 流式模式、无损失 scale4 压缩,三者怎么选?本文给你一份可以直接照做的决策清单。

📊 三种磁盘方案的速览对比

方案 安装命令 初始磁盘占用 运行速度 适合场景
🏋️ 完整模式 deltafin setup --full 约 1.7 TB 最快,全部专家常驻本地 大磁盘 / NVMe 阵列
🌊 流式模式 deltafin setup --stream 约 215 GB 初期慢,缓存累积后接近本地 磁盘有限的小主机
🧮 scale4 压缩 deltafin convert-experts-scale4 额外 约 40.25 GiB 旁车 无损且实测中位提速 2.4% 完整安装的可选加餐

💡 如果你不带 --full 或 --stream 直接运行 deltafin setup,Deltafin 会自动检测空闲磁盘:空间够就装完整模式,不够就回退到流式模式(见 native/deltafin/src/cli.rs 的命令矩阵)。

磁盘占用的精确数字由源码常量锁定:完整权重 FULL_WEIGHT_BYTES 约 1.44 TiB(十进制口径 1.7 TB),流式模式只保留常驻部分(完整体积减去专家库),见 native/deltafin/src/one_shot_setup.rs。

🏋️ 完整模式:1.7TB 一步到位

git clone https://gitcode.com/gh_mirrors/de/deltafin
cd deltafin
cargo build --locked --release
./target/release/deltafin setup --full

完整模式一次性下载全部 K3 专家到本地。一个满配安装的磁盘账单大致是(摘自 docs/STORAGE.md):

  • 1.7 TB —— MXFP4 原始专家库(82,432 个专家,每 token 全部 16 路路由)
  • 107 GB —— 原始 BF16 常驻主干(spine)
  • 53 GB —— int8 常驻主干(默认推理路径,安装时自动转换生成)
  • 6.635 GiB —— 默认安装的 DSpark 草稿模型
  • 可选 4.337 GiB —— Qwen 补全加速组件(--include-qwen)

专家全部在手,意味着每个 token 的路由专家读取都是纯本地 I/O,这是 Deltafin 在消费级硬件上压榨出最高吞吐的前提。

🌊 流式模式:215GB 起步,边用边"囤货"

磁盘装不下 1.7 TB?流式模式就是为此设计的:

./target/release/deltafin setup --stream

它只安装常驻模型(约 215 GB),精确专家按需从网络拉取。代价与回报都很明确(README 原文概括):

  • 🐢 初期明显变慢:路由还没有本地缓存时,每个 token 都可能触发网络读取
  • 🐇 越用越快:专家落盘后进入磁盘缓存,逐渐"完全跑在本地缓存上"
  • 💾 只为你真正用到的部分付费:长期只跑固定任务的场景,磁盘占用远低于全量

源码注释对此有一句很诚实的定性:流式模式只改变存储和性能,不改变精度——每个路由专家依旧是 K3 原版权重(native/deltafin/src/one_shot_setup.rs)。

🧮 scale4 无损失压缩:省空间不碰权重

完整安装后,还可以再跑一步可选转换:

./target/release/deltafin convert-experts-scale4

scale4(格式代号 K3SC4V2)是无损的:它不重新量化任何专家数值——E2M1 打包平面与原专家逐字节一致,只是把 E8M0 的 scale 字节存为相对基线的精确 4-bit 差值(编码细节见 native/deltafin/src/expert_scale4.rs)。

关键特性:

  • ✅ 可恢复转换:中断可续传;全部 82,432 个专家校验通过后才原子启用
  • ✅ 原始专家文件保留:旁车只增加约 40.25 GiB,不改写原数据
  • ✅ 实打实的加速:docs/OPTIMIZATIONS.md 记录了对照测量——中位吞吐提升 2.4%

⚠️ 别混淆:scale4 与 --spine int8 是两回事。int8 主干会改变常驻权重,CLI 中始终标注为"量化、非权重精确";而 scale4 专家存储逐值保真。二者详见 docs/STORAGE.md。

⚡ 进阶:多盘加速把流式模式变"快"

如果你的痛点是"想省空间但嫌慢",完整模式 + 多盘是正解。在 64 GB 主机上,每次解码都要串流约 53 GB 主干 + 路由专家,单块 SSD 的带宽就是瓶颈——额外磁盘上的副本能线性加带宽:

# 把主干和最热专家拷到副盘(每盘约 500 GB 预算),SHA-256 逐块回读校验
./target/release/deltafin populate-storage-home --dir /Volumes/NVMe1/deltafin --budget-gb 500

# 运行时指定所有存储盘
K3_STORAGE_HOMES=/Volumes/NVMe1/deltafin,/Volumes/NVMe2/deltafin \
  ./target/release/deltafin run --prompt "The capital of France is" --max-new 17 --stats

多盘调度按实测速率分配读任务,掉盘自动退避重试。实测数据(单块盘掉速到 30%、甚至整盘读失败)都保持在理想值 95% 以上,详见 docs/OPTIMIZATIONS.md 的模拟验证章节。

✅ 一张清单做决定

  1. 磁盘 ≥ 2 TB 空闲 → setup --full,装完顺手跑 convert-experts-scale4,速度拉满还更紧凑
  2. 磁盘 215~500 GB → setup --stream,接受前期慢,等缓存养起来
  3. 磁盘紧张但任务固定 → 流式模式最划算,只囤你真正路由到的专家
  4. 多块 NVMe → 完整模式 + populate-storage-home,用带宽换时间
  5. 装完不确定? → 跑 deltafin doctor 等只读健康检查(docs/HEALTH-CHECKS.md),它会审计运行时与每个已装组件

无论选哪条路,Deltafin 的质量铁律不变:K3 本体对每个 token 拍板,小模型只能"猜",猜的必须经过 K3 校验才能输出。省下的每一 GB 磁盘,都不以质量为代价。

登录后查看全文
deltafin