Qwen3.5-4B-FP8多模态实战:图片问答与视频理解的完整使用教程
Qwen3.5-4B-FP8多模态实战:图片问答与视频理解的完整使用教程
Qwen3.5-4B-FP8 是一个仅 4B 参数、支持图片问答与视频理解的多模态大模型,采用 FP8 量化权重,单卡即可部署。本教程将带你从零完成模型下载、本地服务启动、图片问答与视频理解实战,并附上长视频优化等进阶技巧,适合新手快速上手多模态模型落地。
认识 Qwen3.5-4B-FP8:单卡可跑的 4B 多模态模型
Qwen3.5 系列是原生多模态模型,视觉与语言通过早期融合联合训练,不仅擅长图片问答,还能理解视频、读取文档与图表,并支持工具调用。本仓库 README.md 中列出了完整的模型规格:
| 项目 | 说明 |
|---|---|
| 参数规模 | 4B(40 亿参数),轻量高效 |
| 模型类型 | 带视觉编码器的因果语言模型(Qwen3_5ForConditionalGeneration) |
| 上下文长度 | 原生 262,144 tokens,可经 YaRN 扩展到约 100 万 tokens |
| 架构亮点 | Gated DeltaNet 线性注意力 + 稀疏 MoE 混合架构,高吞吐低延迟 |
| 量化方式 | 细粒度 FP8(block size 128),性能几乎与原版持平 |
| 语言支持 | 201 种语言与方言 |
为什么选择 FP8 量化版
FP8 相比常见的 INT8 量化具有更高的数值精度,官方说明其性能指标与原始模型"几乎一致"。量化配置可在工作区的 config.json 中查看,其中 quantization_config 字段声明了 quant_method: fp8 与 weight_block_size: [128, 128]。
核心收益:
- 📦 体积更小:权重以 8 位浮点存储,显存占用显著降低,4B 模型消费级显卡即可承载;
- ⚡ 速度更快:FP8 推理可充分利用新一代 GPU 的 Tensor Core;
- 🎯 精度可控:视觉编码器、线性注意力中的敏感模块被排除在量化之外(见
modules_to_not_convert配置),保证图像与视频理解效果。
仓库文件一览
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重(FP8 量化) |
| config.json | 模型结构配置,含 text_config 与 vision_config 两部分 |
| preprocessor_config.json | 图像预处理参数(patch_size=16、归一化均值/方差 0.5) |
| video_preprocessor_config.json | 视频预处理参数,longest_edge 控制视频 token 预算 |
| tokenizer.json / tokenizer_config.json | 分词器及其配置,定义了图片/视频专用 token(如 ‹image⟩) |
| chat_template.jinja | 对话模板,自动处理图片/视频消息与思考模式的拼接 |
| vocab.json | 词表(约 24.8 万词元) |
三步启动本地 API 服务
Qwen3.5-4B-FP8 兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等主流推理框架。生产环境推荐使用 SGLang 或 vLLM 以获得最佳吞吐。
第一步:安装推理框架
以 vLLM 为例,在全新虚拟环境中安装最新版本即可(具体版本要求参考各框架官方文档):
pip install -U vllm
第二步:一键启动服务
vllm serve Qwen/Qwen3.5-4B \
--port 8000 \
--tensor-parallel-size 1 \
--max-model-len 262144 \
--reasoning-parser qwen3
💡 显存不足? 若遇到 OOM(out-of-memory)错误,可适当调小
--max-model-len。但官方建议至少保留 128K 上下文,以免影响思考能力。若只用纯文本场景,可加
--language-model-only跳过视觉编码器,进一步释放显存给 KV cache。
使用 SGLang 的话,等效命令为:
python -m sglang.launch_server --model-path Qwen/Qwen3.5-4B \
--port 8000 --tp-size 1 --mem-fraction-static 0.8 \
--context-length 262144 --reasoning-parser qwen3
第三步:验证服务可用
服务启动后,API 端点位于 http://localhost:8000/v1,完全兼容 OpenAI 接口。可先发送一条纯文本消息验证:
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"Qwen/Qwen3.5-4B","messages":[{"role":"user","content":"你好,请介绍一下你自己"}]}'
能收到正常回复,即代表部署成功 🎉
图片问答实战:一张图就能"看图说话"
Qwen3.5 的图片理解基于 OpenAI 兼容的 Chat Completions 接口,只需在 messages 中把 content 写成数组,混入 image_url 与 text 两种内容块即可。下面用 Python 演示一次数学图形题的问答:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
messages = [
{
"role": "user",
"content": [
{"type": "image_url",
"image_url": {"url": "https://your-server/math-geometry.jpg"}},
{"type": "text",
"text": "请分析图中的几何图形,并给出求解思路。"}
]
}
]
resp = client.chat.completions.create(
model="Qwen/Qwen3.5-4B",
messages=messages,
max_tokens=32768,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={"top_k": 20},
)
print(resp.choices[0].message.content)
把 url 替换为你自己的图片地址(支持本地路径、HTTP 链接或 base64 Data URI)即可。得益于原生多模态架构,该模型在 MMMU、MathVision、OCRBench 等视觉基准上表现亮眼(详见 README.md 的 Benchmark 部分),可覆盖以下典型场景:
- 📷 图片问答(VQA):拍照提问、图表解读、商品识别;
- 📄 文档与 OCR:合同、报表、手写体识别,OmniDocBench 得分 86.2;
- 🧮 数学图形题:结合几何图推理,Mathvista(mini) 得分 85.1;
- 🖥️ 视觉 Agent:截图识别界面元素并辅助操作,AndroidWorld 得分 58.6。
视频理解实战:让模型"看懂"一段视频
视频输入与图片几乎相同,只需把内容块类型换成 video_url:
messages = [
{
"role": "user",
"content": [
{"type": "video_url",
"video_url": {"url": "https://your-server/teach.mp4"}},
{"type": "text", "text": "请总结这段视频的主要内容。"}
]
}
]
resp = client.chat.completions.create(
model="Qwen/Qwen3.5-4B",
messages=messages,
max_tokens=32768,
temperature=1.0,
top_p=0.95,
presence_penalty=1.5,
extra_body={
"top_k": 20,
# 控制视频抽帧频率,默认 fps=2
"mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
},
)
print(resp.choices[0].message.content)
两个实用细节:
- 抽帧率
fps:默认每秒抽 2 帧。短视频可提高到 4 捕捉更多细节;长视频则建议降低以控制 token 消耗。该参数需 vLLM 启动时带--media-io-kwargs '{"video": {"num_frames": -1}}'才可在请求中动态调整; - 视频 token 预算:由 video_preprocessor_config.json 中的
size.longest_edge控制。
进阶技巧:关闭思考模式与长视频优化
关闭思考模式,直出答案
Qwen3.5 默认进入思考模式——回答前会先输出一段 think 推理内容。对于图片问答这类简单任务,可以关闭思考以加快响应:
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.5-4B",
messages=messages,
max_tokens=32768,
temperature=0.7, # 非思考模式建议 0.7
top_p=0.8,
presence_penalty=1.5,
extra_body={
"top_k": 20,
"chat_template_kwargs": {"enable_thinking": False},
},
)
对应的模板逻辑可以在 chat_template.jinja 中查看:当 enable_thinking 为 false 时,模板会插入空的思考块直接生成答案。
长视频理解优化
官方为兼顾纯文本与图片场景,将视频预处理的 longest_edge 配置得比较保守。若主要处理小时级长视频,建议把 video_preprocessor_config.json 中的参数调整为:
{"longest_edge": 469762048, "shortest_edge": 4096}
该值对应 224K 视频 token,可支撑更高帧率抽样的长视频分析,视频理解效果更佳。
官方推荐采样参数速查
| 场景 | temperature | top_p | top_k | presence_penalty |
|---|---|---|---|---|
| 思考模式 · 通用任务 | 1.0 | 0.95 | 20 | 1.5 |
| 思考模式 · 精确编码 | 0.6 | 0.95 | 20 | 0.0 |
| 非思考模式 · 通用任务 | 0.7 | 0.8 | 20 | 1.5 |
| 非思考模式 · 推理任务 | 1.0 | 1.0 | 40 | 2.0 |
常见问题 FAQ
Q1:普通显卡能跑吗?
4B 参数 + FP8 量化后,权重占用非常友好,单张主流消费级显卡(约 12GB 显存)配合 vLLM 即可运行;若显存紧张,可缩短 --max-model-len 或加 --language-model-only。
Q2:图片和视频可以同时传入吗?
Chat Completions 接口支持在同一轮消息中混合多个 image_url 与 video_url 内容块,模型会自动为每类媒体生成带编号的 Picture 1 / Video 1 标识(逻辑见 chat_template.jinja),方便在提示词中引用。
Q3:上下文能超过 256K 吗?
可以。原生上限为 262,144 tokens(见 tokenizer_config.json 的 model_max_length)。超长任务可启用 YaRN 扩展到约 100 万 tokens,方法见 README.md 的"Processing Ultra-Long Texts"章节。
Q4:多轮对话中需要保留思考内容吗?
不需要。官方最佳实践建议:历史消息只保留最终输出,不携带 think 内容,chat_template.jinja 已按此实现。
写在最后
Qwen3.5-4B-FP8 把"4B 小模型也能看图片、懂视频"这件事变得非常平民化:
- ✅ FP8 量化让 4B 多模态模型轻松落地到消费级显卡;
- ✅ 一个 OpenAI 兼容接口同时搞定图片问答与视频理解;
- ✅ 262K 原生上下文 + 201 种语言,长文档、多语言场景同样能打。
按照本教程完成部署后,你就可以把它接入自己的应用——从截图问答机器人到视频内容摘要工具,只差一次 chat.completions.create 的调用。
