MiLMMT-46-4B-v0.1-6bit架构深潜:Gemma3滑动窗口注意力、GQA与128K长上下文
MiLMMT-46-4B-v0.1-6bit架构深潜:Gemma3滑动窗口注意力、GQA与128K长上下文
MiLMMT-46-4B-v0.1-6bit 是小米多语言机器翻译大模型 MiLMMT-46-4B-v0.1 的 MLX 6bit 量化版本,基于 Gemma3-4B 架构,支持 46 种语言互译与 128K 长上下文。本文带你深潜它的内部结构:滑动窗口注意力如何省算力、GQA 如何压缩 KV 缓存,以及 128K 长上下文背后的 RoPE 参数设计。
📦 项目概览:一个"翻译专用"的 4B 模型
MiLMMT-46-4B-v0.1 是小米(Xiaomi)研发的大模型机器翻译(LLM-based translation)模型。它在 Gemma3-4B 的基础上,用 1430 亿 token 的 46 种语言单语 + 平行语料做了继续预训练微调,覆盖中文(简体/繁体/粤语)、英语、日语、韩语、阿拉伯语、德语、法语、俄语等 46 种语言。
本仓库是该模型的 MLX 格式转换版,核心规格如下:
| 指标 | 数值 | 来源 |
|---|---|---|
| 架构 | Gemma3ForConditionalGeneration(model_type: gemma3) | config.json |
| 总参数量 | 约 4.55B | model.safetensors.index.json |
| 文件体积 | 约 3.7 GB(6bit 量化后) | 同上 |
| 层数 | 34 层 Transformer | config.json |
| 隐藏维度 | 2560 | config.json |
| 量化方案 | 6bit / affine 模式 / group_size 64 | config.json |
| 上下文长度 | 131072(128K) | config.json |
💡 原始模型由 mlx-lm 0.30.4 转换而来,权重以 model.safetensors 单文件存储,适合在 Apple Silicon 上高效推理。
🪟 滑动窗口注意力:每 6 层一组,5 滑 + 1 全
这是 MiLMMT 架构里最有意思的设计。在 config.json 的 text_config 中可以看到:
"sliding_window": 1024"_sliding_window_pattern": 6"layer_types": [...](34 项列表)
Gemma3 采用的是一种混合注意力策略:并非每一层都"看见"整段文本,而是按 5 个滑动层 + 1 个全局层 的 6 层一组的节奏交替排列。
以第 0~11 层为例(layer_types 列表顺序):
层0 滑动(只看前 1024 个 token)
层1 滑动
层2 滑动
层3 滑动
层4 滑动
层5 全注意力(看到全部历史)
层6 滑动
层7 滑动
层8 滑动
层9 滑动
层10 滑动
层11 全注意力
在 34 层中共有 29 层滑动注意力 + 5 层全注意力(位于第 5、11、17、23、29 层)。
这样设计的好处很直观:
- 🎯 省显存、省算力:绝大多数层只需要维护 1024 长度的 KV 缓存,长文本下的计算量大幅下降;
- 🧠 不丢全局信息:每 6 层就有一个"全注意力层"负责跨远距离信息的传递,滑动层处理局部语境(词法、短语结构),全局层负责长距离依赖(上下文一致性)。
对翻译场景来说,这非常契合——句内结构靠局部层搞定,篇章级一致性靠全注意力层兜底。
🔀 GQA 分组查询注意力:8 个 Query 头共享 4 个 KV 头
继续看 config.json 中的注意力头配置:
"num_attention_heads": 8"num_key_value_heads": 4"head_dim": 256"attention_bias": false(无偏置)
Query 头数是 KV 头数的 2 倍,这正是 GQA(Grouped Query Attention,分组查询注意力) 的标准形态:8 个 Query 头两两一组,每组共享同一组 K/V 投影。
它的作用可以直接量化:
- KV 缓存体积相比 MHA(Multi-Head Attention)减少约一半;
- 与滑动窗口注意力叠加放大:29 个滑动层各自只需要 1024 × 4 头的 KV 缓存,128K 长上下文也不会把内存撑爆;
- 另外还配合了
q_norm/k_norm(QK LayerNorm)和query_pre_attn_scalar: 256的缩放因子,保证注意力 logits 数值稳定。
📏 128K 长上下文是怎么实现的?
模型支持 max_position_embeddings: 131072,即 128K token。支撑它的是三个 RoPE 相关参数(见 config.json):
| 参数 | 值 | 作用 |
|---|---|---|
rope_theta |
1000000.0 | 旋转位置编码基础频率提高到 1M,天然支持更长序列 |
rope_scaling |
linear,factor 8.0 | 对位置 ID 线性缩放,把训练时的有效长度外推 8 倍 |
rope_local_base_freq |
10000.0 | 滑动层内局部位置编码使用,窗口内感知更精细 |
通俗地说:rope_theta = 1M 给模型预留了"位置感知余量",linear 缩放再把它放大 8 倍,两者叠加才能稳定覆盖 128K 的长文档翻译(比如整份合同、长篇小说逐章翻译)。
📦 6bit Affine 量化:4.5B 参数压进 3.7 GB
本仓库的量化配置(config.json 的 quantization 字段)为:
{ "group_size": 64, "bits": 6, "mode": "affine" }
- affine 模式:每组权重用 6bit 存储,并附加线性仿射参数(scale/bias)做反量化,精度损失比朴素整数量化更小;
- group_size 64:每 64 个权重共享一组量化参数,量化误差被限制在小范围内;
- 从 model.safetensors.index.json 可以查到:全部 4,551,515,648 个参数,量化后总体积仅 3,698,543,616 字节(约 3.7 GB)。
相比 bfloat16 原始精度(约 9 GB),6bit 量化让模型体积缩小一半以上,普通 M 系列 Mac 即可流畅加载。
🚀 快速上手:3 步跑通多语言翻译
该模型没有聊天模板(chat template),需要使用原始补全式 Prompt,且语言名用英文书写。
第一步:安装依赖
pip install mlx-lm
第二步:加载模型并推理(完整示例见 README.md)
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/MiLMMT-46-4B-v0.1-6bit")
text = "Translate this from Chinese (Simplified) to English:\nChinese (Simplified): 我爱机器翻译\nEnglish:"
prompt = tokenizer.encode(text, add_special_tokens=False)
response = generate(model, tokenizer, prompt=prompt, verbose=True)
第三步:注意 Prompt 格式
Translate this from <源语言名> to <目标语言名>:
<源语言名>: <源语言句子>
<目标语言名>:
生成参数建议沿用 generation_config.json 的默认值:top_k: 64、top_p: 0.95、do_sample: true,并使用 hybrid KV 缓存(与滑动窗口策略配套)。
⚠️ 注意:调用 tokenizer.encode 时必须 add_special_tokens=False,否则会注入不必要的特殊 token 影响翻译效果。
🗂️ 仓库文件说明
| 文件 | 说明 |
|---|---|
| README.md | 模型介绍、46 语言列表、翻译 Prompt 模板与使用示例 |
| config.json | 完整架构配置:层数、注意力头、滑动窗口、RoPE、量化参数 |
| generation_config.json | 默认采样参数(top_k、top_p、hybrid 缓存等) |
| model.safetensors | 6bit 量化后的模型权重(约 3.7 GB) |
| model.safetensors.index.json | 权重索引与参数量统计 |
| tokenizer.json / tokenizer_config.json | 分词器数据与配置 |
总结
MiLMMT-46-4B-v0.1-6bit 把 Gemma3 的几个现代架构特性集齐了:滑动窗口 + 全注意力混合策略降低长文本算力开销,GQA 压缩 KV 缓存,1M RoPE + linear 缩放支撑 128K 上下文,再通过 6bit affine 量化把 4.5B 参数装进 3.7 GB——对于想在 Mac 上本地部署 46 语言翻译引擎的用户来说,是一个兼顾效果、速度与体量的优秀选择。