Qwen3.5-4B-FP8多模态实战:图片问答与视频理解的完整使用教程

原创2026-11-10 17:24:451,630 阅读

Qwen3.5-4B-FP8多模态实战:图片问答与视频理解的完整使用教程

Qwen3.5-4B-FP8 是一个仅 4B 参数、支持图片问答与视频理解的多模态大模型,采用 FP8 量化权重,单卡即可部署。本教程将带你从零完成模型下载、本地服务启动、图片问答与视频理解实战,并附上长视频优化等进阶技巧,适合新手快速上手多模态模型落地。

Qwen3.5-4B-FP8多模态大模型图片问答与视频理解项目展示图

认识 Qwen3.5-4B-FP8:单卡可跑的 4B 多模态模型

Qwen3.5 系列是原生多模态模型,视觉与语言通过早期融合联合训练,不仅擅长图片问答,还能理解视频、读取文档与图表,并支持工具调用。本仓库 README.md 中列出了完整的模型规格:

项目 说明
参数规模 4B(40 亿参数),轻量高效
模型类型 带视觉编码器的因果语言模型(Qwen3_5ForConditionalGeneration)
上下文长度 原生 262,144 tokens,可经 YaRN 扩展到约 100 万 tokens
架构亮点 Gated DeltaNet 线性注意力 + 稀疏 MoE 混合架构,高吞吐低延迟
量化方式 细粒度 FP8(block size 128),性能几乎与原版持平
语言支持 201 种语言与方言

为什么选择 FP8 量化版

FP8 相比常见的 INT8 量化具有更高的数值精度,官方说明其性能指标与原始模型"几乎一致"。量化配置可在工作区的 config.json 中查看,其中 quantization_config 字段声明了 quant_method: fp8 与 weight_block_size: [128, 128]。

核心收益:

  • 📦 体积更小:权重以 8 位浮点存储,显存占用显著降低,4B 模型消费级显卡即可承载;
  • ⚡ 速度更快:FP8 推理可充分利用新一代 GPU 的 Tensor Core;
  • 🎯 精度可控:视觉编码器、线性注意力中的敏感模块被排除在量化之外(见 modules_to_not_convert 配置),保证图像与视频理解效果。

仓库文件一览

文件 作用
model.safetensors 模型权重(FP8 量化)
config.json 模型结构配置,含 text_config 与 vision_config 两部分
preprocessor_config.json 图像预处理参数(patch_size=16、归一化均值/方差 0.5)
video_preprocessor_config.json 视频预处理参数,longest_edge 控制视频 token 预算
tokenizer.json / tokenizer_config.json 分词器及其配置,定义了图片/视频专用 token(如 ‹image⟩)
chat_template.jinja 对话模板,自动处理图片/视频消息与思考模式的拼接
vocab.json 词表(约 24.8 万词元)

三步启动本地 API 服务

Qwen3.5-4B-FP8 兼容 Hugging Face Transformers、vLLM、SGLang、KTransformers 等主流推理框架。生产环境推荐使用 SGLang 或 vLLM 以获得最佳吞吐。

第一步:安装推理框架

以 vLLM 为例,在全新虚拟环境中安装最新版本即可(具体版本要求参考各框架官方文档):

pip install -U vllm

第二步:一键启动服务

vllm serve Qwen/Qwen3.5-4B \
  --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

💡 显存不足? 若遇到 OOM(out-of-memory)错误,可适当调小 --max-model-len。但官方建议至少保留 128K 上下文,以免影响思考能力。

若只用纯文本场景,可加 --language-model-only 跳过视觉编码器,进一步释放显存给 KV cache。

使用 SGLang 的话,等效命令为:

python -m sglang.launch_server --model-path Qwen/Qwen3.5-4B \
  --port 8000 --tp-size 1 --mem-fraction-static 0.8 \
  --context-length 262144 --reasoning-parser qwen3

第三步:验证服务可用

服务启动后,API 端点位于 http://localhost:8000/v1,完全兼容 OpenAI 接口。可先发送一条纯文本消息验证:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"Qwen/Qwen3.5-4B","messages":[{"role":"user","content":"你好,请介绍一下你自己"}]}'

能收到正常回复,即代表部署成功 🎉

图片问答实战:一张图就能"看图说话"

Qwen3.5 的图片理解基于 OpenAI 兼容的 Chat Completions 接口,只需在 messages 中把 content 写成数组,混入 image_url 与 text 两种内容块即可。下面用 Python 演示一次数学图形题的问答:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image_url",
             "image_url": {"url": "https://your-server/math-geometry.jpg"}},
            {"type": "text",
             "text": "请分析图中的几何图形,并给出求解思路。"}
        ]
    }
]

resp = client.chat.completions.create(
    model="Qwen/Qwen3.5-4B",
    messages=messages,
    max_tokens=32768,
    temperature=1.0,
    top_p=0.95,
    presence_penalty=1.5,
    extra_body={"top_k": 20},
)
print(resp.choices[0].message.content)

把 url 替换为你自己的图片地址(支持本地路径、HTTP 链接或 base64 Data URI)即可。得益于原生多模态架构,该模型在 MMMU、MathVision、OCRBench 等视觉基准上表现亮眼(详见 README.md 的 Benchmark 部分),可覆盖以下典型场景:

  • 📷 图片问答(VQA):拍照提问、图表解读、商品识别;
  • 📄 文档与 OCR:合同、报表、手写体识别,OmniDocBench 得分 86.2;
  • 🧮 数学图形题:结合几何图推理,Mathvista(mini) 得分 85.1;
  • 🖥️ 视觉 Agent:截图识别界面元素并辅助操作,AndroidWorld 得分 58.6。

视频理解实战:让模型"看懂"一段视频

视频输入与图片几乎相同,只需把内容块类型换成 video_url:

messages = [
    {
        "role": "user",
        "content": [
            {"type": "video_url",
             "video_url": {"url": "https://your-server/teach.mp4"}},
            {"type": "text", "text": "请总结这段视频的主要内容。"}
        ]
    }
]

resp = client.chat.completions.create(
    model="Qwen/Qwen3.5-4B",
    messages=messages,
    max_tokens=32768,
    temperature=1.0,
    top_p=0.95,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        # 控制视频抽帧频率,默认 fps=2
        "mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
    },
)
print(resp.choices[0].message.content)

两个实用细节:

  1. 抽帧率 fps:默认每秒抽 2 帧。短视频可提高到 4 捕捉更多细节;长视频则建议降低以控制 token 消耗。该参数需 vLLM 启动时带 --media-io-kwargs '{"video": {"num_frames": -1}}' 才可在请求中动态调整;
  2. 视频 token 预算:由 video_preprocessor_config.json 中的 size.longest_edge 控制。

进阶技巧:关闭思考模式与长视频优化

关闭思考模式,直出答案

Qwen3.5 默认进入思考模式——回答前会先输出一段 think 推理内容。对于图片问答这类简单任务,可以关闭思考以加快响应:

chat_response = client.chat.completions.create(
    model="Qwen/Qwen3.5-4B",
    messages=messages,
    max_tokens=32768,
    temperature=0.7,   # 非思考模式建议 0.7
    top_p=0.8,
    presence_penalty=1.5,
    extra_body={
        "top_k": 20,
        "chat_template_kwargs": {"enable_thinking": False},
    },
)

对应的模板逻辑可以在 chat_template.jinja 中查看:当 enable_thinking 为 false 时,模板会插入空的思考块直接生成答案。

长视频理解优化

官方为兼顾纯文本与图片场景,将视频预处理的 longest_edge 配置得比较保守。若主要处理小时级长视频,建议把 video_preprocessor_config.json 中的参数调整为:

{"longest_edge": 469762048, "shortest_edge": 4096}

该值对应 224K 视频 token,可支撑更高帧率抽样的长视频分析,视频理解效果更佳。

官方推荐采样参数速查

场景 temperature top_p top_k presence_penalty
思考模式 · 通用任务 1.0 0.95 20 1.5
思考模式 · 精确编码 0.6 0.95 20 0.0
非思考模式 · 通用任务 0.7 0.8 20 1.5
非思考模式 · 推理任务 1.0 1.0 40 2.0

常见问题 FAQ

Q1:普通显卡能跑吗? 4B 参数 + FP8 量化后,权重占用非常友好,单张主流消费级显卡(约 12GB 显存)配合 vLLM 即可运行;若显存紧张,可缩短 --max-model-len 或加 --language-model-only。

Q2:图片和视频可以同时传入吗? Chat Completions 接口支持在同一轮消息中混合多个 image_url 与 video_url 内容块,模型会自动为每类媒体生成带编号的 Picture 1 / Video 1 标识(逻辑见 chat_template.jinja),方便在提示词中引用。

Q3:上下文能超过 256K 吗? 可以。原生上限为 262,144 tokens(见 tokenizer_config.json 的 model_max_length)。超长任务可启用 YaRN 扩展到约 100 万 tokens,方法见 README.md 的"Processing Ultra-Long Texts"章节。

Q4:多轮对话中需要保留思考内容吗? 不需要。官方最佳实践建议:历史消息只保留最终输出,不携带 think 内容,chat_template.jinja 已按此实现。

写在最后

Qwen3.5-4B-FP8 把"4B 小模型也能看图片、懂视频"这件事变得非常平民化:

  • ✅ FP8 量化让 4B 多模态模型轻松落地到消费级显卡;
  • ✅ 一个 OpenAI 兼容接口同时搞定图片问答与视频理解;
  • ✅ 262K 原生上下文 + 201 种语言,长文档、多语言场景同样能打。

按照本教程完成部署后,你就可以把它接入自己的应用——从截图问答机器人到视频内容摘要工具,只差一次 chat.completions.create 的调用。

登录后查看全文
Qwen3.5-4B-FP8