GLM-5.3-Flash-4bit视觉塔全解:14像素patch、2×2合并与24万token视频处理管线
GLM-5.3-Flash-4bit视觉塔全解:14像素patch、2×2合并与24万token视频处理管线
GLM-5.3-Flash-4bit 是 GLM-5.3-Flash 多模态大模型的 MLX 4-bit 量化版本,其视觉塔(vision tower)通过 14 像素 patch 切块、2×2 空间合并与 2 帧时间打包,将图片和视频转换成文本模型可消化的 token 流,并支持最高 240,000 token 的视频处理管线。这篇文章带你从零看懂这套视觉处理机制的关键参数与计算逻辑。
📌 视觉塔配置速览:glm5_next_vision
整个视觉塔的定义就在 config.json 的 vision_config 字段中,模型类型是 glm5_next_vision。核心参数一目了然:
| 参数 | 值 | 含义 |
|---|---|---|
depth |
24 | 视觉编码器 Transformer 层数 |
hidden_size |
1024 | 视觉侧隐藏层维度 |
num_heads |
16 | 注意力头数(每头 64 维) |
intermediate_size |
4096 | FFN 中间维度(SiLU/SwiGLU,swiglu_limit 10.0) |
patch_size |
14 | 空间切块:14×14 像素 |
temporal_patch_size |
2 | 时间切块:每 2 帧为一组 |
spatial_merge_size |
2 | 空间合并:2×2 的块合成 1 个 token |
out_hidden_size |
4096 | 输出维度(对齐文本侧 hidden 4096) |
projection_intermediate_size |
10240 | 合并投影层中间维度 |
image_size |
448 | 参考分辨率(448 = 14 × 32) |
值得注意的是量化策略:按 README.md 的位宽表,视觉塔整体保持 bf16 精度不量化,只有文本侧的 MoE 专家、注意力投影等做 4/5/6-bit 混合压缩——视觉特征对精度更敏感,保留全精度是常见且稳妥的做法。
✂️ 14 像素 patch:把图像切成"小块"
多模态模型看不懂像素,只能读懂 token。视觉塔第一步就是 patch embedding:把图像切成 14×14 像素的小方块,每个方块经卷积投影成 1 个 1024 维向量,交给后面的 24 层 Transformer 提取语义。
为什么是 14?因为它能让常见参考分辨率 448 像素正好整除:
- 448 ÷ 14 = 32,即 448×448 图像切成 32×32 = 1024 个 patch
对视频还有第二刀——时间维切块(temporal_patch_size: 2):每相邻 2 帧打包成 1 个"时间 patch",让模型天然理解"两帧之间发生了什么"。图像预处理(preprocessor_config.json)与视频预处理(video_preprocessor_config.json)共用同一套 patch 参数,并做 OpenAI CLIP 风格的均值/方差归一化(image_mean / image_std)和 0~1 缩放。
🔗 2×2 空间合并:token 数量直接除以 4
1024 个 patch 对文本模型来说还是太多。于是视觉塔出口处做 2×2 空间合并(spatial_merge_size: 2):把空间上相邻的 2×2 个 patch 向量拼成一个 4096 维向量,经中间维度 10240 的 MLP(projection_intermediate_size)投影回 4096 维,4 个 patch 只输出 1 个 token。
这一步一石二鸟:
- token 数量缩为 1/4,注意力计算成本大幅下降;
- 相邻小块信息被强制聚合,token 语义更"完整",不再是碎片细节。
合并后的 token 会替换文本流中的特殊占位 token(见下文),再与文本 token 一起进入 45 层的 glm5_next 主干。
🧮 从图片到 token:两个完整算例
示例 1:一张 448×448 的图片
| 步骤 | 数量 |
|---|---|
| 空间 patch(14px) | 32 × 32 = 1024 个 |
| 2×2 合并后 | 16 × 16 = 256 token |
示例 2:图像 token 预算上下限
preprocessor_config.json 规定了 min_image_tokens: 16 与 max_image_tokens: 8000:
- 下限 16 token:对应 4×4 合并格,即约 112×112 像素是有效最小区——太小的图会被放大,不会丢失;
- 上限 8000 token:对应约 90×90 合并格,即单边约 2520 像素,再大的图会被压缩,防止 token 爆炸。
所以无论是缩略图还是 4K 截图,送入文本侧的 token 数始终稳定在 16~8000 之间。
🎬 视频处理管线:24 万 token 是怎么做到的
视频是 GLM-5.3-Flash-4bit 视觉塔最亮眼的部分,配置集中在 video_preprocessor_config.json:
| 参数 | 值 | 作用 |
|---|---|---|
max_image_tokens |
240000 | 单段视频 token 总预算(24 万) |
fps |
2 | 按每秒 2 帧均匀抽帧 |
num_frames |
16 | 短片段默认采样 16 帧 |
max_frames |
2048 | 最多处理 2048 帧(约 17 分钟视频) |
max_image_size.longest_edge |
47040000 | 单帧像素面积上限(约 4700 万像素,≈8K 级天花板) |
24 万 token 的直观含义:若每帧为 448×448(256 token/帧对),2048 帧共 1024 个时间 patch 组,理论峰值约 26 万 token——max_image_tokens: 240000 正是为它兜底的安全阀。同时 2 帧打包(temporal_patch_size: 2)让"帧数→token"再打 5 折,长视频也不会撑爆上下文。
配合文本侧 100 万 token 的上下文长度(config.json 的 max_position_embeddings: 1048576),一段 24 万 token 的视频加上问答文本仍可完整容纳。
🏷️ 特殊 token:图像与视频在文本流中的标记
视觉塔的输出不会"裸奔"进入文本流,而是用一组专用 token 精确占位(config.json):
| 作用 | token id |
|---|---|
| 图像占位 | 154854(image_token_id) |
| 视频占位 | 154855(video_token_id) |
| 图像起止 | 154830 / 154831 |
| 视频起止 | 154832 / 154833 |
对话模板 chat_template.jinja 则负责在消息解析阶段识别 image、video 等类型的内容块。图像与视频使用不同的占位 token,让模型能区分"这是一张图"还是"这是一段视频",并套用对应的时空理解策略。
🚀 硬件要求与运行方式
| 项目 | 说明 |
|---|---|
| 模型体积 | 190 GiB(62 个 safetensors 分片,约 204 GB) |
| 硬件门槛 | 需要 256 GB 内存(或更高)的 Mac |
| 运行框架 | mlx-lm 暂不支持 glm5_next 架构,需用 mlx-vlm) |
| 许可证 | MIT |
如果你是 512GB 内存的统一内存 Mac,这个 4-bit 混合量化版(路由专家 4-bit、down_proj 5-bit、共享专家 6-bit,group size 64)就是目前能在本地跑起来的形态;内存不足的机器建议关注更低位宽的社区版本。
✅ 总结:三个数字记住视觉塔
- 14:patch 边长,一切切块的基石(448 = 14×32);
- 2×2:空间合并,token 数量 ÷4,细节换效率;
- 240000:视频 token 预算,配合 2fps 抽帧与 2 帧时间打包,支撑约 17 分钟长视频理解。
从 14 像素小方块到 24 万 token 的长视频,GLM-5.3-Flash-4bit 的视觉塔用"切块—合并—投影"三段式管线,把连续世界的像素流装进了 100 万 token 的文本世界。