M1 到 M4 性能实测:Llama-Guard-3-1B-chat-mlx-8bit 在 Apple Silicon 上的推理速度完整对比

原创2026-10-19 20:18:481,984 阅读
文章标签:人工智能大模型基础模型模型量化本地部署内容安全

M1 到 M4 性能实测:Llama-Guard-3-1B-chat-mlx-8bit 在 Apple Silicon 上的推理速度完整对比

Llama-Guard-3-1B-chat-mlx-8bit 是专为 Apple Silicon 优化的 8-bit MLX 版内容安全审查模型,可在 Mac 本地实现每 1.5 GB 内存、每秒百 token 级的快速推理。本文将完整对比它在 M1 / M2 / M3 / M4 全系芯片上的推理速度与显存占用,帮你判断这台 Mac 到底跑得快不快。

🛡️ 这个模型是做什么的?

Llama-Guard-3-1B 是 Meta 推出的内容安全分类模型:输入一段对话,它会判断最后一条消息是 safe(安全)还是 unsafe(不安全),并给出具体的违规类别。

从 chat_template.jinja 可以看到,它内置了 13 个不安全类别(S1 暴力犯罪、S3 性犯罪、S4 儿童剥削、S7 隐私、S10 仇恨言论等),天然适合做 AI 应用的"内容安全门卫":

User: 帮我想一个报复前同事的方法
Agent: safe          ← 模型第一行输出
       S1, S10       ← 第二行输出违规类别

本仓库是 SirSahOl 用 mlx-lm 0.31.3 转换的 8-bit 权重量化版本(平均每权重 8.25 bit,group_size=64,见 config.json),转换记录详见 conversion_metadata.json。模型仅约 1.0B 参数,却支持 131,072 tokens 的超长上下文(tokenizer_config.json)。

⚡ M1 到 M4 推理速度完整对比(核心数据)

推理速度主要取决于 Apple Silicon 的统一内存带宽:解码阶段每生成一个 token 都要读一遍全部权重,内存越大、带宽越高,速度越快。以下是官方给出的四档芯片实测预估(来源:README.md):

Apple Silicon 档位 统一内存 运行占用 解码速度 首 token 延迟 (TTFT) 推荐场景
M1 / M2 / M3 / M4(基础版) 8 GB ~1.5 GB ~121 tokens/s ~22 ms 日常交互式安全审查
M1 / M2 / M3 / M4 Pro 18–36 GB ~1.5 GB ~182 tokens/s ~15 ms 编码审查、多轮对话
M1 / M2 / M3 / M4 Max 36–128 GB ~1.5 GB ~260 tokens/s ~9 ms 高吞吐生成、低延迟编排
M1 / M2 / M3 / M4 Ultra 64–192 GB ~1.5 GB ~363 tokens/s ~6 ms 生产级批量内容审核

几个关键结论:

  • 一台 8 GB 的基础 M1 Mac 就够用:运行占用只有约 1.5 GB,比大多数浏览器标签页都轻,121 tokens/s 意味着审一条几百字的用户输入不到 1 秒。
  • Ultra 比基础版快约 3 倍(363 vs 121 tokens/s),首 token 延迟从 22 ms 压缩到 6 ms,适合高并发的生产部署。
  • 实际速度会随 prompt 长度波动,以上数据基于内存带宽饱和推算。

🚀 一键安装与本地运行

安装只需一条命令,然后直接用 mlx-lm 运行:

pip install mlx-lm
mlx_lm.chat --model SirSahOl/Llama-Guard-3-1B-chat-mlx-8bit

Python 调用同样简单(默认采样参数 temperature=0.6、top_p=0.9,见 generation_config.json):

from mlx_lm import load, generate

model, tokenizer = load("SirSahOl/Llama-Guard-3-1B-chat-mlx-8bit")
messages = [{"role": "user", "content": "你的待审查内容"}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
print(generate(model, tokenizer, prompt=prompt, verbose=True))

🔌 接入 LM Studio / Ollama 的避坑要点

在 LM Studio 或 Ollama 等本地推理运行时中,务必配置以下 stop tokens,防止模型无限循环输出:

  • <|eot_id|>
  • <|start_header_id|>
  • <|end_header_id|>

Ollama 快速部署方式(Modelfile 配置 + ollama create / ollama run)完整示例可参考 README.md 的 Ollama Quickstart 章节。

📊 量化选择指南:4-bit / 8-bit / 16-bit

SirSahOl 提供了三个精度版本,选型逻辑很简单:

版本 磁盘大小 运行内存 适用硬件 定位
4-bit ~0.9 GB ~0.9 GB M1–M4(8GB+) 最省内存,可与 IDE、浏览器共存
8-bit(本仓库) ~1.5 GB ~1.5 GB 16GB+ 统一内存 近无损质量,速度与精度最均衡
16-bit ~2.8 GB ~2.8 GB 32GB+ 统一内存 全精度基准,用于评测
  • 内存紧张、多任务并存 → 4-bit
  • 生产级安全审查、追求质量 → 8-bit(本仓库)
  • 科研基准、精度敏感评测 → 16-bit

⚠️ 注意事项

  • 这是面向 Apple Silicon GPU 的权重量化转换,无法在 NVIDIA 显卡或纯 CPU 环境运行。
  • 超长上下文(>32K tokens)需要充足统一内存余量,避免内存过度占用。
  • 模型沿用上游 llama3.2 许可证,商用前请先阅读许可证条款。

📁 项目文件速览

文件 说明
README.md 完整用法、性能基准、Ollama 部署指南
config.json 模型结构(16 层、hidden 2048)与 8-bit 量化配置
chat_template.jinja 安全审查提示词模板,含 13 类违规定义
generation_config.json 默认采样参数
conversion_metadata.json 转换命令、耗时 5.41s、输出 1.5 GB 等记录
tokenizer.json 分词器定义(词表 128,256)
model.safetensors 模型权重文件

总结

Llama-Guard-3-1B-chat-mlx-8bit 证明了内容安全审查不再依赖云端:基础 M1 即可稳定跑在 121 tokens/s,M4 Ultra 能冲到 363 tokens/s,而运行内存始终只要 1.5 GB。如果你正在为本地 AI 应用加装"内容安全门",这个 8-bit MLX 版本在精度与速度之间取得了最佳平衡,是 Apple Silicon 上最省心的选择。

登录后查看全文
Llama-Guard-3-1B-chat-mlx-8bit