ChatGLM3-6B Low-Cost Deployment Guide: Quantization, CPU, Mac MPS and Multi-GPU Inference
ChatGLM3-6B Low-Cost Deployment Guide: Quantization, CPU, Mac MPS and Multi-GPU Inference
本指南聚焦智谱 AI 开源项目 ChatGLM3 中 6B 对话模型(ChatGLM3-6B)的低成本部署方案,围绕 DEPLOYMENT_en.md 的技术主线,完整讲解 4-bit 量化、纯 CPU 推理、Apple Silicon/AMD GPU 的 MPS 后端加速,以及多 GPU 张量切分四种路径。读完本文,你将能根据手头的显存、内存与硬件条件,选择并落地一套可运行、可验证的 ChatGLM3-6B 推理方案,并结合仓库源码理解每种方案背后的加载方式与资源开销。
部署基线:默认 FP16 加载与 13GB 显存预算
在讨论各种低成本方案之前,先明确模型的默认加载方式与资源基线。ChatGLM3-6B 默认以 FP16 半精度加载,运行推理代码大约需要 13GB 显存。官方 README 给出的最小调用示例如下(见 README_en.md):
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
在仓库的实际示例中,加载逻辑通常还配合 device_map="auto" 使用。例如 basic_demo/cli_demo.py 中通过环境变量 MODEL_PATH/TOKENIZER_PATH 指定模型路径,并使用 AutoModel.from_pretrained(..., device_map="auto").eval() 完成加载;openai_api_demo/api_server.py 与 finetune_demo/inference_hf.py 也都采用了 device_map="auto"。其中 trust_remote_code=True 是必须项——ChatGLM3 的模型实现依赖仓库内自带的远程代码(如 modeling_chatglm.py),必须显式信任并加载。
13GB 是一个硬性预算基准:如果你的 GPU 显存低于这个值(例如 8GB 消费级显卡),直接加载 FP16 权重会因显存不足而失败或触发换页,此时就需要下面的量化方案。
模型量化:用 4-bit 精度换显存空间
当 GPU 显存有限、装不下 13GB 的 FP16 模型时,最简单有效的办法是加载 4-bit 量化模型:
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).quantize(4).cuda()
这条语句在原文档中的含义是:先以默认 FP16 加载权重,随后调用模型实现的 quantize(4) 方法将权重压缩到 4-bit,再通过 .cuda() 放置到 GPU。仓库源码中的注释给出了更完整的调用形态(basic_demo/cli_demo.py):
# add .quantize(bits=4, device="cuda").cuda() before .eval() to use int4 model
# must use cuda to load int4 model
即在 .eval() 之前插入 .quantize(bits=4, device="cuda").cuda() 即可启用 INT4 模型,并且必须使用 CUDA 加载 INT4 模型——这意味着量化路径主要面向 GPU 场景,不适用于 CPU。这一点在 composite_demo/client.py 中也有完全相同的注释,可作为交叉印证。
需要接受的代价是:模型量化会带来一定的性能损失。根据原文档的测试结论,ChatGLM3-6B 在 4-bit 量化下仍能保持自然流畅的生成效果,适合对显存敏感、对精度损失容忍度较高的部署场景。如果你希望进一步控制精度与资源的平衡,仓库还提供了面向 Intel 设备的 INT4 推理路径(见 Intel_device_demo/ipex_llm_cpu_demo/chatglm3_infer.py),以及 OpenVINO 的 INT4 量化脚本(Intel_device_demo/openvino_demo/README.md),可作参考。
CPU 部署:无 GPU 硬件时的内存优先方案
如果机器完全没有 GPU,ChatGLM3-6B 依然可以运行,只是推理速度会明显变慢。CPU 部署的关键是把模型转为 FP32 精度加载,因为 ChatGLM3 默认的 FP16 推理在 CPU 上依赖 cpm_kernels 等算子,转成 FP32(.float())后通用性与兼容性更好:
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).float()
资源预算方面,CPU 推理大约需要 32GB 内存。这个数字显著高于 GPU 场景,原因在于:FP32 权重是 FP16 的两倍体积(6B 参数约 24GB+),加上推理过程中的 KV Cache 与中间激活,对系统内存形成了较高要求。因此,CPU 部署适合内存充裕、对实时性要求不高的环境,例如离线批量推理或开发调试。
围绕 CPU 场景,仓库还沉淀了专门的加速实践:Intel 提供的 IPEX-LLM CPU 推理示例(Intel_device_demo/ipex_llm_cpu_demo/)以及 OpenVINO 推理示例(Intel_device_demo/openvino_demo/README.md),可以在 Intel CPU/GPU 上获得更快的推理速度,属于纯 CPU 部署之上的进阶选项。
Mac 部署:利用 MPS 后端调用 Apple GPU
对于搭载 Apple Silicon(M 系列)或 AMD GPU 的 Mac,可以使用 PyTorch 的 MPS(Metal Performance Shaders)后端,把 ChatGLM3-6B 跑到 Mac 自带的 GPU 上。
环境准备:安装 PyTorch-Nightly
使用 MPS 后端需要安装 PyTorch-Nightly,并且版本号必须是 2.x.x.dev2023xxxx 这种开发版格式,不能使用正式发布的 2.x.x 稳定版。安装方式参考 Apple 官方的 Metal/PyTorch 说明(https://developer.apple.com/metal/pytorch)。
本地加载模型并切换到 MPS
原文档明确:目前在 macOS 上只支持从本地加载模型。也就是说,你需要先把模型权重下载到本地(可通过 git lfs 拉取 Hugging Face 仓库,或在网络受限时从 ModelScope 下载,具体步骤见 README_en.md),然后将加载代码中的模型路径替换为本地路径,并调用 .to('mps'):
model = AutoModel.from_pretrained("your local path", trust_remote_code=True).to('mps')
内存预算与注意事项
加载半精度(FP16)的 ChatGLM3-6B 需要约 13GB 内存。对于内存较小的机器(例如 16GB 内存的 MacBook Pro),当空闲内存不足时系统会动用硬盘虚拟内存(swap),导致推理速度严重下降。因此,Mac 上部署前请先确认可用内存规模:13GB 的内存占用意味着 16GB 机器几乎没有余量给系统和其他应用,建议在内存更大的设备上运行,或考虑结合量化方案降低占用。
多 GPU 部署:把模型切分到多张显卡
当手头有多张 GPU、但单张显存都装不下完整模型时,可以把模型权重切分到多张 GPU 上并行推理。原文档给出的路径是:先安装 accelerate,再借助工具函数按 GPU 数量加载:
pip install accelerate
from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm3-6b", num_gpus=2)
参数含义如下:
| 参数 | 作用 | 默认行为 |
|---|---|---|
num_gpus |
指定切分的 GPU 数量,例如 2 表示部署到两张 GPU |
均匀切分 |
device_map |
自定义每层权重分配到哪张 GPU | 传入该参数时覆盖默认均匀切分策略 |
将 num_gpus 改为你实际希望使用的 GPU 数即可横向扩展;如果你对各层有特殊的放置需求,也可以通过 device_map 自行指定分配策略。
补充说明:从当前仓库源码结构看,仓库根目录并未提供 utils.py 及 load_model_on_gpus 的实现,原文档中的这段代码面向的是部署文档配套的辅助脚本。在仓库的实际示例中,多卡/单卡自动分配更多采用 transformers 的 device_map="auto" 机制(同样基于 accelerate 实现),例如 basic_demo/cli_demo.py、basic_demo/web_demo_gradio.py、openai_api_demo/api_server.py 均以此方式加载,由 accelerate 自动决定权重在各设备上的分布。两种方式殊途同归,前者更精细可控,后者更省事。另外,accelerate 已列入仓库根目录的 requirements.txt(版本 >=0.29.2),安装基础依赖时即已就绪。
方案对比与选型建议
综合上文,四种低成本部署路径可归纳为:
| 方案 | 关键代码 | 资源需求 | 适用场景 |
|---|---|---|---|
| FP16 基线 | from_pretrained(...).eval() |
约 13GB 显存 | 显存充足的 GPU 服务器 |
| 4-bit 量化 | .quantize(4).cuda() |
显著低于 13GB 显存 | 8GB 级别消费级 GPU;需接受少量精度损失 |
| CPU 推理 | .float() |
约 32GB 内存 | 无 GPU 的机器、离线推理 |
| Mac MPS | .to('mps') + 本地模型 |
约 13GB 内存 | Apple Silicon / AMD GPU 的 Mac |
| 多 GPU 切分 | load_model_on_gpus(..., num_gpus=N) / device_map="auto" |
多张 GPU 显存之和 | 多卡但单卡显存不足 |
选型口诀:GPU 显存不够 → 量化;没有 GPU 但内存足 → CPU(进阶可试 IPEX-LLM / OpenVINO);Mac 用户 → 本地加载 + MPS;多卡用户 → 按 GPU 数切分。若追求极致推理速度,还可参考仓库内的 tensorrt_llm_demo/(NVIDIA TensorRT-LLM 加速)与 Intel_device_demo/ 系列示例,它们与本文的低成本部署方案互补,共同构成 ChatGLM3-6B 在不同硬件上的完整部署矩阵。