M1 到 M4 性能实测:Llama-Guard-3-1B-chat-mlx-8bit 在 Apple Silicon 上的推理速度完整对比
M1 到 M4 性能实测:Llama-Guard-3-1B-chat-mlx-8bit 在 Apple Silicon 上的推理速度完整对比
Llama-Guard-3-1B-chat-mlx-8bit 是专为 Apple Silicon 优化的 8-bit MLX 版内容安全审查模型,可在 Mac 本地实现每 1.5 GB 内存、每秒百 token 级的快速推理。本文将完整对比它在 M1 / M2 / M3 / M4 全系芯片上的推理速度与显存占用,帮你判断这台 Mac 到底跑得快不快。
🛡️ 这个模型是做什么的?
Llama-Guard-3-1B 是 Meta 推出的内容安全分类模型:输入一段对话,它会判断最后一条消息是 safe(安全)还是 unsafe(不安全),并给出具体的违规类别。
从 chat_template.jinja 可以看到,它内置了 13 个不安全类别(S1 暴力犯罪、S3 性犯罪、S4 儿童剥削、S7 隐私、S10 仇恨言论等),天然适合做 AI 应用的"内容安全门卫":
User: 帮我想一个报复前同事的方法
Agent: safe ← 模型第一行输出
S1, S10 ← 第二行输出违规类别
本仓库是 SirSahOl 用 mlx-lm 0.31.3 转换的 8-bit 权重量化版本(平均每权重 8.25 bit,group_size=64,见 config.json),转换记录详见 conversion_metadata.json。模型仅约 1.0B 参数,却支持 131,072 tokens 的超长上下文(tokenizer_config.json)。
⚡ M1 到 M4 推理速度完整对比(核心数据)
推理速度主要取决于 Apple Silicon 的统一内存带宽:解码阶段每生成一个 token 都要读一遍全部权重,内存越大、带宽越高,速度越快。以下是官方给出的四档芯片实测预估(来源:README.md):
| Apple Silicon 档位 | 统一内存 | 运行占用 | 解码速度 | 首 token 延迟 (TTFT) | 推荐场景 |
|---|---|---|---|---|---|
| M1 / M2 / M3 / M4(基础版) | 8 GB | ~1.5 GB | ~121 tokens/s | ~22 ms | 日常交互式安全审查 |
| M1 / M2 / M3 / M4 Pro | 18–36 GB | ~1.5 GB | ~182 tokens/s | ~15 ms | 编码审查、多轮对话 |
| M1 / M2 / M3 / M4 Max | 36–128 GB | ~1.5 GB | ~260 tokens/s | ~9 ms | 高吞吐生成、低延迟编排 |
| M1 / M2 / M3 / M4 Ultra | 64–192 GB | ~1.5 GB | ~363 tokens/s | ~6 ms | 生产级批量内容审核 |
几个关键结论:
- 一台 8 GB 的基础 M1 Mac 就够用:运行占用只有约 1.5 GB,比大多数浏览器标签页都轻,121 tokens/s 意味着审一条几百字的用户输入不到 1 秒。
- Ultra 比基础版快约 3 倍(363 vs 121 tokens/s),首 token 延迟从 22 ms 压缩到 6 ms,适合高并发的生产部署。
- 实际速度会随 prompt 长度波动,以上数据基于内存带宽饱和推算。
🚀 一键安装与本地运行
安装只需一条命令,然后直接用 mlx-lm 运行:
pip install mlx-lm
mlx_lm.chat --model SirSahOl/Llama-Guard-3-1B-chat-mlx-8bit
Python 调用同样简单(默认采样参数 temperature=0.6、top_p=0.9,见 generation_config.json):
from mlx_lm import load, generate
model, tokenizer = load("SirSahOl/Llama-Guard-3-1B-chat-mlx-8bit")
messages = [{"role": "user", "content": "你的待审查内容"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(generate(model, tokenizer, prompt=prompt, verbose=True))
🔌 接入 LM Studio / Ollama 的避坑要点
在 LM Studio 或 Ollama 等本地推理运行时中,务必配置以下 stop tokens,防止模型无限循环输出:
<|eot_id|><|start_header_id|><|end_header_id|>
Ollama 快速部署方式(Modelfile 配置 + ollama create / ollama run)完整示例可参考 README.md 的 Ollama Quickstart 章节。
📊 量化选择指南:4-bit / 8-bit / 16-bit
SirSahOl 提供了三个精度版本,选型逻辑很简单:
| 版本 | 磁盘大小 | 运行内存 | 适用硬件 | 定位 |
|---|---|---|---|---|
| 4-bit | ~0.9 GB | ~0.9 GB | M1–M4(8GB+) | 最省内存,可与 IDE、浏览器共存 |
| 8-bit(本仓库) | ~1.5 GB | ~1.5 GB | 16GB+ 统一内存 | 近无损质量,速度与精度最均衡 |
| 16-bit | ~2.8 GB | ~2.8 GB | 32GB+ 统一内存 | 全精度基准,用于评测 |
- 内存紧张、多任务并存 → 4-bit
- 生产级安全审查、追求质量 → 8-bit(本仓库)
- 科研基准、精度敏感评测 → 16-bit
⚠️ 注意事项
- 这是面向 Apple Silicon GPU 的权重量化转换,无法在 NVIDIA 显卡或纯 CPU 环境运行。
- 超长上下文(>32K tokens)需要充足统一内存余量,避免内存过度占用。
- 模型沿用上游 llama3.2 许可证,商用前请先阅读许可证条款。
📁 项目文件速览
| 文件 | 说明 |
|---|---|
| README.md | 完整用法、性能基准、Ollama 部署指南 |
| config.json | 模型结构(16 层、hidden 2048)与 8-bit 量化配置 |
| chat_template.jinja | 安全审查提示词模板,含 13 类违规定义 |
| generation_config.json | 默认采样参数 |
| conversion_metadata.json | 转换命令、耗时 5.41s、输出 1.5 GB 等记录 |
| tokenizer.json | 分词器定义(词表 128,256) |
| model.safetensors | 模型权重文件 |
总结
Llama-Guard-3-1B-chat-mlx-8bit 证明了内容安全审查不再依赖云端:基础 M1 即可稳定跑在 121 tokens/s,M4 Ultra 能冲到 363 tokens/s,而运行内存始终只要 1.5 GB。如果你正在为本地 AI 应用加装"内容安全门",这个 8-bit MLX 版本在精度与速度之间取得了最佳平衡,是 Apple Silicon 上最省心的选择。