InternVL2_5-8B-MPO-AWQ 完全概览:为什么经过MPO优化的8B多模态大模型能媲美2倍参数模型?新手入门指南
InternVL2_5-8B-MPO-AWQ 完全概览:为什么经过MPO优化的8B多模态大模型能媲美2倍参数模型?新手入门指南
InternVL2_5-8B-MPO-AWQ 是由上海 AI Lab OpenGVLab 团队开源的 InternVL 2.5 系列多模态大语言模型(MLLM):它基于经过 MPO(Mixed Preference Optimization,混合偏好优化) 训练的 8B 参数版本 InternVL2_5-8B-MPO,并使用 AWQ 4-bit 量化 压缩而成。对新手来说,这是一个"小身材、大能量"的选择——综合评测平均分 70.4,已经逼近参数量是它 3 倍的 26B 模型(71.6),而且量化后文件总大小仅约 5.4GB,消费级显卡即可部署。
💡 一句话定位:MPO 负责"变聪明",AWQ 负责"变轻便",两者叠加让 8B 小模型获得了接近 20B+ 大模型的实战能力。
MPO 混合偏好优化:8B 模型逆袭的秘密武器
MPO 是 InternVL 2.5 系列的核心创新。它的出发点很朴素:
一个好的偏好对齐过程,应该同时让模型学会三件事——回答之间的相对好坏、单个回答的绝对质量、以及"怎么生成好回答"的过程。
对应的训练目标由三个损失加权组合而成(细节可参考 README.md 中的 Key Designs 章节):
| 损失组件 | 名称 | 作用 |
|---|---|---|
| 🎯 偏好损失 L_p | DPO | 学习"chosen vs rejected"回答对的相对偏好 |
| ⚖️ 质量损失 L_q | BCO | 学习单个回答的绝对质量,防止好坏一起涨 |
| ✍️ 生成损失 L_g | SFT | 直接模仿偏好回答的生成过程 |
数据从哪来:MMPR 多模态偏好数据集
MPO 的训练弹药是 MMPR(Multi-Modal Preference) 数据集,规模约 300 万样本,覆盖有明确标准答案(如数学、选择题)和无明确答案(如开放描述)两类数据。其中无标准答案的样本用了一个巧妙技巧——Dropout NTP:把模型的回答截断一半,然后藏起图片让它"盲写"后半段。没有图片信息时产生的回答必然更容易出现幻觉,这样就自动构造出了"好回答 vs 坏回答"的偏好对,无需人工标注。
成绩单:8B 打 26B,真的不虚
以下是官方在 OpenCompass 基准上的评测结果(摘自 README.md):
| 模型 | Avg. | MMBench v1.1 | MathVista | OCRBench | MMVet |
|---|---|---|---|---|---|
| InternVL2-5-8B | 68.9 | 82.5 | 64.5 | 82.1 | 62.8 |
| InternVL2-5-8B-MPO | 70.4 | 82.4 | 68.9 | 88.3 | 66.9 |
| InternVL2-5-26B | 71.6 | 84.6 | 68.0 | 85.4 | 65.4 |
| InternVL2-5-26B-MPO | 72.7 | 84.2 | 72.8 | 91.2 | 67.1 |
几个值得新手记住的亮点:
- 🔢 平均分 70.4 vs 26B 的 71.6:参数只有对方约 1/3,差距仅 1.2 分;
- 🔢 OCR 能力 88.3,超过 26B 非 MPO 版本的 85.4——文字识别、文档理解任务上直接反超;
- 🔢 数学推理 MathVista 68.9,同样领先 26B 基线。
这就是标题里"媲美 2 倍参数模型"的由来:MPO 让 8B 的天花板抬到了 20B+ 梯队。
AWQ 4-bit 量化:体积砍半,精度几乎无损
AWQ(Activation-aware Weight Quantization)是一种权重激活感知量化方法:它根据激活值分布识别"重要权重",对它们保留更高精度,其余权重量化到 4 bit,从而在几乎不损失精度的前提下大幅压缩模型。
本仓库的量化配置写在 config.json 中:
quant_method: awq,bits: 4,group_size: 128(每 128 个权重共享一组缩放因子);- 三个权重分片(
pytorch_model-00001-of-00003.bin等)合计约 5.4GB,权重分布可查 pytorch_model.bin.index.json; - 分片内可见
qweight/qzeros/scales三件套——这正是 AWQ 量化权重的典型命名。
对新手意味着什么? 原本 8B 模型全精度(bf16)需要约 16GB 显存才能跑起来,AWQ 4-bit 版本把门槛拉低到了 10~12GB 显存档位,24GB 的消费级显卡(如 RTX 3090/4090)可以很舒服地推理,甚至能开 8192 的上下文长度。
模型架构速览:ViT-MLP-LLM 三段式
InternVL2.5 沿用经典的 "ViT - MLP - LLM" 三段式范式(架构图见 README.md):
图像 ──▶ InternViT(视觉编码器) ──▶ MLP投影器 ──▶ InternLM2.5-7B(语言模型) ──▶ 回答
结合配置文件,你可以记住这三个关键部件:
- 视觉部分 InternViT:
InternViT-300M-448px,24 层 Transformer,见 modeling_intern_vit.py 与 configuration_intern_vit.py; - 语言部分 InternLM2.5-7B-Chat:32 层、hidden_size 4096、采用 GQA(32 个注意力头 / 8 个 KV 头),代码在 modeling_internlm2.py;
- 多模态胶水层:
InternVLChatModel负责把视觉特征拼进文本序列,核心方法chat/extract_feature/pixel_shuffle都在 modeling_internvl_chat.py。
另外两个新手容易踩坑的"隐藏特性",都写在 config.json 里:
dynamic_image_size: true+max_dynamic_patch: 12:动态分辨率策略——图像被切成 448×448 的瓦片,最多 12 块(外加一张缩略图use_thumbnail: true),大图看得清、小图不浪费;downsample_ratio: 0.5:像素反洗牌(pixel unshuffle)把视觉 token 数压缩到 1/4,省显存、省上下文。
新手快速上手:两种最低成本部署方式
官方推荐的推理引擎是 LMDeploy(支持 VLM 的压缩/部署/服务一体化工具)。完整示例见 README.md,这里只给最关键的几步。
方式一:Python pipeline,5 行代码跑通图文问答
pip install lmdeploy>=0.6.4
from lmdeploy import pipeline, TurbomindEngineConfig
from lmdeploy.vl import load_image
model = 'OpenGVLab/InternVL2_5-8B-MPO-AWQ'
image = load_image('tiger.jpg')
pipe = pipeline(model, backend_config=TurbomindEngineConfig(session_len=8192))
print(pipe(('describe this image', image)).text)
💡 小技巧:多图片问答时给图片编号(Image-1: ...)能显著提升模型区分图片的效果;多图会显著增加 token 数,记得调大 session_len。
方式二:一条命令起 OpenAI 兼容 API 服务
lmdeploy serve api_server OpenGVLab/InternVL2_5-8B-MPO-AWQ --server-port 23333
启动后即可用 OpenAI SDK 调用(base_url='http://0.0.0.0:23333/v1'),前端、LangChain 等任何支持 OpenAI 接口的框架都能直接接入,是把它变成"线上服务"的最快路径。
仓库文件导航:每个文件是干嘛的
| 文件 | 作用 | 新手关注度 |
|---|---|---|
| config.json | 模型总配置:AWQ 量化参数、动态分辨率、ViT/LLM 子配置 | ⭐⭐⭐ |
| modeling_internvl_chat.py | 多模态主模型 InternVLChatModel,chat() 推理入口 |
⭐⭐⭐ |
| modeling_internlm2.py | 语言模型 InternLM2(GQA + RoPE 实现) | ⭐⭐ |
| modeling_intern_vit.py | 视觉编码器 InternViT | ⭐⭐ |
| conversation.py | 对话模板(本模型使用 internvl2_5 模板) |
⭐⭐ |
| tokenization_internlm2_fast.py | 快速分词器(SentencePiece 实现) | ⭐ |
| preprocessor_config.json | 图像预处理:448 缩放 + ImageNet 归一化 | ⭐⭐ |
| generation_config.json | 生成参数(eos_token 等) | ⭐ |
| pytorch_model-00001-of-00003.bin | AWQ 量化权重分片 1/3 | ⭐ |
常见问题 FAQ
Q1:MPO 和 DPO 有什么区别? DPO 只学"两个回答谁更好"(相对偏好),MPO 在此基础上叠加了 BCO 质量损失和 SFT 生成损失,同时约束"回答绝对质量"和"生成路径",所以数学、OCR 这类硬指标提升明显。
Q2:AWQ 量化版精度损失大吗? 从设计上看 AWQ 专门保护了"激活感知重要权重",官方直接以 AWQ 版作为推荐部署形态发布,说明损失在可接受范围内;实测场景下建议重点回归测试你的核心业务任务。
Q3:8B 显存不够,怎么选? InternVL2.5-MPO 家族覆盖 1B/2B/4B/8B/26B/38B/78B 全尺寸(见 README.md 的家族表格)。显存紧张可选 4B-MPO(Avg 67.6),追求上限再上 26B-MPO。
总结:谁适合用 InternVL2_5-8B-MPO-AWQ?
✅ 单机 24GB 显卡就想获得接近 20B+ 多模态能力的开发者; ✅ 需要 OCR / 数学推理 / 多图理解 等能力、又不想上大模型的中小团队; ✅ 想用 OpenAI 兼容接口 把多模态能力接入现有业务系统的人。
它的公式很简单:MPO 把 8B 的智力抬到 20B+ 梯队,AWQ 把 20B+ 的显存账单打下来——这就是小参数模型在 2025 年依然能打的核心逻辑。MIT 协议(语言部件为 Apache 2.0)也意味着商用无忧,可以放心上手。