苹果的开源节奏变了:视觉线连续放模型说明了什么
苹果的开源节奏变了:视觉线连续放模型说明了什么
过去两年,苹果在视觉方向上持续公开研究成果,只是节奏有明显变化:早期是单篇论文附带一个演示页面,后来是模型权重与配套代码一起放出,到 2026 年 11 月,FastFrames 则以“论文、模型、中间检查点、评测协议、延迟基准脚本”整套交付的方式出现。把这条时间线梳理清楚,再拆开 FastFrames-L 的模型卡与权重仓库,可以看到一个比“苹果又开源了一个视频模型”更有价值的判断:苹果正在把交付物从“结果”变成“过程”,但它对“开放”的定义,依然牢牢限定在实验室范围内。
一条可核对的时间线:从“论文演示”到“按季度交付”
把社区公开报道与本地仓库的提交记录对应起来,苹果视觉线的发布密度变化相当清晰:
| 时间 | 交付物 | 形态 | 关键信号 |
|---|---|---|---|
| 2024-12 | STIV(8.7B) | 论文 + 技术解读 | 统一 T2V / TI2V,公开的是方法而非权重 |
| 2025-05 | FastVLM(0.5B/1.5B/7B) | 模型 + 端侧部署 | 开始强调“能在设备上跑” |
| 2025-10 | Pico-Banana-400K | 数据集 | 从模型侧转向数据侧 |
| 2026-09 | LensVLM-9B | 模型权重 + 独立代码库 | 长上下文视觉文本压缩,基于 Qwen3.5-9B |
| 2026-11-17/18 | FastFrames-S / FastFrames-L | 论文 + 权重 + 中间检查点 + 训练配方 + 评测协议 | 首次把“训练过程”一并交付 |
最后一行的两个日期可以直接从仓库里核实:arXiv:2611.23226 的投稿时间是 2026-11-17,而本仓库的 git 历史里只有一条提交——18f30cb Public release,时间戳为 2026-11-18 05:29:30 UTC。一次性发布,没有分阶段推送,这本身说明内部六段式训练流水线在公开之前已经完整跑通,而不是“边训边放”。
社区侧的反馈也对应得上:围绕 FastFrames 出现了“单卡延迟 36 毫秒、技术秘籍还能给别家模型提速”这类技术解读,以及把它与 HiDream O1、Grok Imagine Video 做横向对比的文章。讨论焦点已经从“苹果也做视频生成了”,转移到“它凭什么这么快、这套优化能不能搬到别的模型上”。这正是判断一个项目是否进入生态层的分水岭。
FastFrames 实际交付了什么:三个权重文件,外加一套可以被质疑的数字
本仓库的权重目录结构非常克制,只有三个文件:
fastframes-l/dit.safetensors 28.58 GB
fastframes-l/kv_refiner.safetensors 1.78 GB
fastframes-l/pixel_decoder.safetensors 287 MB
再加上 SHA256SUMS 里 18 条哈希记录,任何人都能在下载后逐个校验。这里有两个容易被忽略的工程决策:
第一,权重包本身并不完整,而且是有意为之。 模型卡的前置元数据写得很明确:base_model: Wan-AI/Wan2.1-T2V-14B。文本编码器、tokenizer 和 VAE 全部复用 Wan2.1-14B 的公开快照,苹果只发布自己真正新增的三块网络。这种“只交付增量”的做法,把发布体积压到了必要下限,也意味着使用者必须先接受上游依赖。
第二,三个文件的体积比例本身就是架构说明。 28.58 GB 的 DiT 在 BF16 下对应约 14.3B 参数;1.78 GB 的 KV refiner 只有 DiT 的 6.2%;287 MB 的 pixel decoder 连 DiT 的 1% 都不到。README 里那张单卡延迟表正好解释了这个比例为什么合理:
| 组件 | 调用次数 | 单次延迟 | 总延迟 |
|---|---|---|---|
| DiT 评估(t=1000) | 1 | 16.1 ms | 16.1 ms |
| DiT 评估(t=833) | 1 | 16.2 ms | 16.2 ms |
| KV 精修 | 1 | 2.2 ms | 2.2 ms |
| 像素解码器 | 1 | 0.9 ms | 0.9 ms |
| 合计 | 35.4 ms(论文值 36 ms) |
用 1% 的参数换掉一次完整 VAE 解码,用 6% 的参数换掉一次全量 KV 写入——这是整个工作的核心交易。把 dit.safetensors 的分片索引展开看,1095 个张量、40 个 transformer block(blocks.0 到 blocks.39),每块都是 self_attn + cross_attn + ffn + modulation 的 Wan 式结构;换句话说,DiT 本体几乎原封不动,被替换的是它前后那些“看起来只是实现细节”的环节。
反常识的地方:被优化掉的是“实现细节”,而不是模型
论文摘要里那句话值得逐字读:现有模型的 VAE 解码和 KV cache 更新这类常被当作固定实现细节的操作,实际占到了端到端推理延迟的一半以上。FastFrames 的做法是把这些组件换成轻量替代品,而不是去蒸馏一个更小的 DiT。
这个判断在数据上站得住。官方文档给出的对比基准是:Causal Forcing++ 每生成一个 latent frame 需要 3 次 DiT 评估加一次 VAE 解码,端到端 272 ms;FastFrames 是 2 次 DiT 评估加 KV 精修加像素解码,端到端 36 ms。延迟降到约 1/7.6,而 VBench 总分几乎不动:
| 模型 | Total | Quality | Semantic |
|---|---|---|---|
| CausVid | 83.18 | 84.15 | 79.31 |
| Self-Forcing | 84.10 | 84.84 | 81.13 |
| Causal Forcing++ | 84.11 | 85.09 | 80.20 |
| FastFrames-S(1.3B) | 84.23 | 85.30 | 79.92 |
| FastFrames-L(14B) | 84.44 | 85.48 | 80.29 |
这张表应该被读成两条信息。好消息是 Quality 维度确实在涨(85.09 → 85.48),说明像素解码器没有把画质做崩,14B 的容量也确实换来了更好的光影与构图。不那么好看的一条是:Semantic 维度上 FastFrames-L 的 80.29 仍低于 Self-Forcing 的 81.13,Total 上相对 CF++ 只领先 0.33。把这条差距说成“全面超越”是不诚实的;更准确的表述是——在一个已经接近饱和的评分区间里,苹果选择用极小的质量代价换取一个数量级的延迟收益。
14B 的部署形态也说明了同一件事:单卡 158 ms,8 卡 B200 节点 45 ms(22 RPS),而同样 14B 级别的 Krea-Realtime 是 1675 ms。45 ms 这个数字之所以重要,是因为它跨过了“交互”这条线——按 16 fps、每个 latent frame 出 4 帧 RGB 计算,只有每帧延迟压到 50 ms 以内,相机控制、物理拖拽这类输入才可能被感知为“实时响应”。仓库首页那张演示图给出的正是这个对照:左侧是 LingBot 官方实现,右侧是同一模型接入 FastFrames 优化后的表现。
143 GB 中间检查点:把“训练过程”也变成交付物
如果说权重发布是常规操作,那么 fastframes-l-intermediate/ 才是这次发布里最不像苹果的部分。三个目录合计约 143 GB:
| 目录 | 内容 | 精度 | 体积 |
|---|---|---|---|
causal_teacher/ |
第 1 阶段原始权重,update 1700 | FP32 | 57.15 GB |
consistency/ |
第 2 阶段原始权重,update 3000 | BF16 | 28.58 GB |
dmd/ |
第 3 阶段 EMA,critic update 1500 | FP32 | 57.15 GB |
对照官方训练配方,这些目录正好对应 Wan2.1-14B 蒸馏链上的三个卡点:
| 阶段 | 任务 | 输入 | 算力配方 |
|---|---|---|---|
| 0 | ODE 轨迹生成 | 每行一个 prompt | 48 步 Euler,CFG 5 |
| 1 | 帧因果教师 | 阶段 0 语料 | 256 卡,取 update 1700 |
| 2 | 一致性蒸馏 | 阶段 1 的 step_00001700 |
128 卡,取 update 3000 |
| 3 | Self-forcing DMD | 阶段 2 的 step_00003000 |
128 卡,critic update 1500 的 EMA |
| 4 | 解码器重建 | 阶段 3 EMA | 64 卡,50 万次更新 |
| 5 | 解码器对抗 | 阶段 4 的 decoder_ema |
8 卡,每卡 5000 rollouts |
| 6 | KV 精修 | 阶段 3 的 step_00001500 |
64 卡,142500 次更新 |
把这些中间产物公开,等于把“从 14B 基座走到 45 ms 推理”这条路径上最贵的几段算力成本,转成了可下载的文件。任何想从 DMD 阶段接手做二次蒸馏的团队,都可以直接跳过前三个阶段:
uv run torchrun --nproc_per_node 8 scripts/train.py --config configs/ffl_kv_refinement.yaml \
model.generator=checkpoints/fastframes-l-intermediate/dmd/model.safetensors.index.json
但这里必须同时说出代价,否则就是对读者的误导。阶段 1 需要 256 张 B200,阶段 4 需要 64 卡跑 50 万次更新——这不是学术实验室能复现的配方,而是工业级训练账本。所谓“可复现”,在 FastFrames 上实际分成两层:推理与评测是真可复现(单卡即可跑通 benchmark),训练只是“可接续”,前提是你已经有同等量级的集群。中间检查点的真正价值不是让所有人重训一遍,而是让少数有算力的团队不必从零开始。
顺带一提,causal_teacher/ 与 dmd/ 的索引文件大小完全一致(都是同一份 1102 行的 weight_map,只是目录不同),这也从侧面印证了第 3 阶段是在同一套参数结构上做 EMA,而非换架构。
从数据集到模型的组合打法:苹果站在别人的肩上
回到“组合打法”这条线索,FastFrames 的依赖清单几乎是一份公开生态名录:
- 基座:Wan2.1-T2V-14B(权重、文本编码器、VAE 全部复用);
- 方法:Self-Forcing、Causal Forcing++ 的代码与检查点,FastFrames-S 干脆把
framewise-2step.pt这个两阶段因果生成器冻结,只在它周围训练新网络; - 数据:Self-Forcing 扩展后的 VidProM 提示词列表(248,221 条、约 145 MB),外加仓库自带的 109 条 demo prompt(前 100 条来自 Causal Forcing,后 9 条为本工作新增);
- 对抗训练:DINOv3(gated)加真实 H.264 视频片段,统一裁剪到 832×480。
这条链路和 LensVLM-9B 的选择如出一辙——后者直接以 Qwen3.5-9B 为底,只做视觉文本压缩与选择性展开这一件事。把两次发布放在一起看,苹果的策略已经很清楚:不争基座,争“最后一公里”的那一层。在视频上,这一层是解码与缓存的替换;在长上下文视觉上,这一层是压缩与按需展开。数据集(Pico-Banana-400K)则补上了这层能力所需要的数据供给。
这种打法的直接后果,是发布体积和发布速度都可以做得更轻:不用附带文本编码器、不用附带 VAE、不用重新解释一套架构,模型卡上一行 base_model 就把依赖关系交代干净了。
对开源视频生态的实际影响:可插拔的加速层,与一条不能商用的红线
FastFrames 对生态最有价值的部分,不是 14B 的成绩,而是 FastFrames-S 的构造方式:冻结别人的生成器,只训练外挂网络。这个设计让“加速层”具备了可迁移性——官方给出的证据是,用 FastFrames 优化后的 LingBot 1.3B 比官方实现快 16 倍,并且能做流畅的相机条件控制。同一套 KV 精修与像素解码思路,理论上可以挂到任何两阶段因果生成器上。
这对生态是实打实的利好:中小团队不必重训 14B,只要接上两三个小网络,就可能把自家模型的交互延迟压进可用区间。而苹果把延迟基准脚本、组件级 profile、VBench 评测协议(含打分器补丁与 scorer_manifest.json 哈希校验)一并放出,也让“我加速了 5 倍”这类说法第一次有了可对齐的度量口径——基准以 60 秒窗口取中位数、取最慢 rank、明确排除文本编码与主机传输,这些细节决定了数字能不能横向比较。
但另一面必须写清楚:LICENSE 是 Apple Machine Learning Research Model License,不是 OSI 意义上的开源许可证。 它授予的是“仅为研究目的”的使用、修改、再分发与衍生权利,并明确排除任何商业利用、产品开发或商业服务中的使用;再分发时必须附带协议原文与指定署名,衍生模型必须标注修改。代码侧是 Apple Sample Code License,LingBot 部分则沿用上游 CC BY-NC-SA 4.0。
所以“苹果的开源节奏变了”这句话,需要加一个精确的定语:变的是交付的完整度与节奏,没变的是开放的边界。 权重可以下载、可以改、可以发论文复现,但不能进产品。对研究者,这已经足够;对想拿它做实时视频产品的团队,这 143 GB 里没有一块是可以商用的。
这条节奏说明了什么
把三件事放在一起看——一年内视觉线连续交付(数据集、VLM、视频生成)、FastFrames 一次性放出完整训练链与中间检查点、以及许可始终锁死在研究用途——可以得到一个比“苹果变开放了”更准确的结论:
苹果正在把“开放”从公关行为变成工程规范。它交付的不是一个可以讲故事的 demo,而是一套可校验的哈希、可复现的延迟数字、可接续的训练阶段,以及一条明确写死的商用红线。这种开放对生态的推力是真实的:它给视频生成领域提供了一个“延迟优先”的新坐标,也把加速层做成了可以被别家模型复用的组件。但它同时也划出了边界——苹果愿意共享方法论的复现路径,却不愿意共享商业化路径。
对读者而言,最实际的行动建议是分开看这两层:想研究交互式视频生成,fastframes-l-intermediate/dmd/ 加上那份六阶段配方,是目前最短的起点;想评估它能否进入产品,先读 LICENSE 的前三节,再决定要不要投入工程资源。节奏变了,但这道门开在哪个方向,仓库里写得比任何解读都清楚。
