MiLMMT-46-4B-v0.1-6bit架构深潜:Gemma3滑动窗口注意力、GQA与128K长上下文

原创2026-10-21 11:50:072,130 阅读

MiLMMT-46-4B-v0.1-6bit架构深潜:Gemma3滑动窗口注意力、GQA与128K长上下文

MiLMMT-46-4B-v0.1-6bit 是小米多语言机器翻译大模型 MiLMMT-46-4B-v0.1 的 MLX 6bit 量化版本,基于 Gemma3-4B 架构,支持 46 种语言互译与 128K 长上下文。本文带你深潜它的内部结构:滑动窗口注意力如何省算力、GQA 如何压缩 KV 缓存,以及 128K 长上下文背后的 RoPE 参数设计。

📦 项目概览:一个"翻译专用"的 4B 模型

MiLMMT-46-4B-v0.1 是小米(Xiaomi)研发的大模型机器翻译(LLM-based translation)模型。它在 Gemma3-4B 的基础上,用 1430 亿 token 的 46 种语言单语 + 平行语料做了继续预训练微调,覆盖中文(简体/繁体/粤语)、英语、日语、韩语、阿拉伯语、德语、法语、俄语等 46 种语言。

本仓库是该模型的 MLX 格式转换版,核心规格如下:

指标 数值 来源
架构 Gemma3ForConditionalGeneration(model_type: gemma3) config.json
总参数量 约 4.55B model.safetensors.index.json
文件体积 约 3.7 GB(6bit 量化后) 同上
层数 34 层 Transformer config.json
隐藏维度 2560 config.json
量化方案 6bit / affine 模式 / group_size 64 config.json
上下文长度 131072(128K) config.json

💡 原始模型由 mlx-lm 0.30.4 转换而来,权重以 model.safetensors 单文件存储,适合在 Apple Silicon 上高效推理。

🪟 滑动窗口注意力:每 6 层一组,5 滑 + 1 全

这是 MiLMMT 架构里最有意思的设计。在 config.json 的 text_config 中可以看到:

  • "sliding_window": 1024
  • "_sliding_window_pattern": 6
  • "layer_types": [...](34 项列表)

Gemma3 采用的是一种混合注意力策略:并非每一层都"看见"整段文本,而是按 5 个滑动层 + 1 个全局层 的 6 层一组的节奏交替排列。

以第 0~11 层为例(layer_types 列表顺序):

层0  滑动(只看前 1024 个 token)
层1  滑动
层2  滑动
层3  滑动
层4  滑动
层5  全注意力(看到全部历史)
层6  滑动
层7  滑动
层8  滑动
层9  滑动
层10 滑动
层11 全注意力

在 34 层中共有 29 层滑动注意力 + 5 层全注意力(位于第 5、11、17、23、29 层)。

这样设计的好处很直观:

  • 🎯 省显存、省算力:绝大多数层只需要维护 1024 长度的 KV 缓存,长文本下的计算量大幅下降;
  • 🧠 不丢全局信息:每 6 层就有一个"全注意力层"负责跨远距离信息的传递,滑动层处理局部语境(词法、短语结构),全局层负责长距离依赖(上下文一致性)。

对翻译场景来说,这非常契合——句内结构靠局部层搞定,篇章级一致性靠全注意力层兜底。

🔀 GQA 分组查询注意力:8 个 Query 头共享 4 个 KV 头

继续看 config.json 中的注意力头配置:

  • "num_attention_heads": 8
  • "num_key_value_heads": 4
  • "head_dim": 256
  • "attention_bias": false(无偏置)

Query 头数是 KV 头数的 2 倍,这正是 GQA(Grouped Query Attention,分组查询注意力) 的标准形态:8 个 Query 头两两一组,每组共享同一组 K/V 投影。

它的作用可以直接量化:

  • KV 缓存体积相比 MHA(Multi-Head Attention)减少约一半;
  • 与滑动窗口注意力叠加放大:29 个滑动层各自只需要 1024 × 4 头的 KV 缓存,128K 长上下文也不会把内存撑爆;
  • 另外还配合了 q_norm / k_norm(QK LayerNorm)和 query_pre_attn_scalar: 256 的缩放因子,保证注意力 logits 数值稳定。

📏 128K 长上下文是怎么实现的?

模型支持 max_position_embeddings: 131072,即 128K token。支撑它的是三个 RoPE 相关参数(见 config.json):

参数 值 作用
rope_theta 1000000.0 旋转位置编码基础频率提高到 1M,天然支持更长序列
rope_scaling linear,factor 8.0 对位置 ID 线性缩放,把训练时的有效长度外推 8 倍
rope_local_base_freq 10000.0 滑动层内局部位置编码使用,窗口内感知更精细

通俗地说:rope_theta = 1M 给模型预留了"位置感知余量",linear 缩放再把它放大 8 倍,两者叠加才能稳定覆盖 128K 的长文档翻译(比如整份合同、长篇小说逐章翻译)。

📦 6bit Affine 量化:4.5B 参数压进 3.7 GB

本仓库的量化配置(config.json 的 quantization 字段)为:

{ "group_size": 64, "bits": 6, "mode": "affine" }
  • affine 模式:每组权重用 6bit 存储,并附加线性仿射参数(scale/bias)做反量化,精度损失比朴素整数量化更小;
  • group_size 64:每 64 个权重共享一组量化参数,量化误差被限制在小范围内;
  • 从 model.safetensors.index.json 可以查到:全部 4,551,515,648 个参数,量化后总体积仅 3,698,543,616 字节(约 3.7 GB)。

相比 bfloat16 原始精度(约 9 GB),6bit 量化让模型体积缩小一半以上,普通 M 系列 Mac 即可流畅加载。

🚀 快速上手:3 步跑通多语言翻译

该模型没有聊天模板(chat template),需要使用原始补全式 Prompt,且语言名用英文书写。

第一步:安装依赖

pip install mlx-lm

第二步:加载模型并推理(完整示例见 README.md)

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/MiLMMT-46-4B-v0.1-6bit")

text = "Translate this from Chinese (Simplified) to English:\nChinese (Simplified): 我爱机器翻译\nEnglish:"
prompt = tokenizer.encode(text, add_special_tokens=False)
response = generate(model, tokenizer, prompt=prompt, verbose=True)

第三步:注意 Prompt 格式

Translate this from <源语言名> to <目标语言名>:
<源语言名>: <源语言句子>
<目标语言名>:

生成参数建议沿用 generation_config.json 的默认值:top_k: 64、top_p: 0.95、do_sample: true,并使用 hybrid KV 缓存(与滑动窗口策略配套)。

⚠️ 注意:调用 tokenizer.encode 时必须 add_special_tokens=False,否则会注入不必要的特殊 token 影响翻译效果。

🗂️ 仓库文件说明

文件 说明
README.md 模型介绍、46 语言列表、翻译 Prompt 模板与使用示例
config.json 完整架构配置:层数、注意力头、滑动窗口、RoPE、量化参数
generation_config.json 默认采样参数(top_k、top_p、hybrid 缓存等)
model.safetensors 6bit 量化后的模型权重(约 3.7 GB)
model.safetensors.index.json 权重索引与参数量统计
tokenizer.json / tokenizer_config.json 分词器数据与配置

总结

MiLMMT-46-4B-v0.1-6bit 把 Gemma3 的几个现代架构特性集齐了:滑动窗口 + 全注意力混合策略降低长文本算力开销,GQA 压缩 KV 缓存,1M RoPE + linear 缩放支撑 128K 上下文,再通过 6bit affine 量化把 4.5B 参数装进 3.7 GB——对于想在 Mac 上本地部署 46 语言翻译引擎的用户来说,是一个兼顾效果、速度与体量的优秀选择。

登录后查看全文
MiLMMT-46-4B-v0.1-6bit