如何评测语言世界模型？AgentWorldBench五维评测流水线完整教程（含Qwen-AgentWorld-35B-A3B实战打分）
如何评测语言世界模型？AgentWorldBench五维评测流水线完整教程（含Qwen-AgentWorld-35B-A3B实战打分）
Qwen-AgentWorld-35B-A3B 是首个面向智能体（Agent）环境模拟的原生语言世界模型，它不预测下一个词，而是预测下一个环境状态。本文以官方基准 AgentWorldBench 为例，手把手讲清语言世界模型的五维评测流水线（infer → judge → score），并给出 Qwen-AgentWorld-35B-A3B 的实战打分结果与 GGUF 量化文件选型建议。
一、什么是语言世界模型？为什么需要专门评测？
传统大语言模型回答的是"下一个词是什么"，而**语言世界模型（Language World Model）**回答的是：
给定 Agent 的动作和交互历史，环境接下来会变成什么样？
Qwen-AgentWorld 系列通过"长思维链推理"模拟智能体环境：模型先进行推理，再输出对下一时刻环境状态的预测（比如终端输出、工具调用结果、GUI 变化等）。它经过 CPT → SFT → RL 三阶段训练，环境建模从一开始就是训练目标，而非在通用 LLM 上的事后适配。
关键规格一览 📋
| 项目 | 参数 |
|---|---|
| 总参数 / 激活参数 | 35B / 3B（MoE 混合专家） |
| 层数 | 40 层 |
| 上下文长度 | 262,144 tokens |
| 专家数 | 256（8 路由 + 1 共享激活） |
| 覆盖领域 | MCP、Search、Terminal、SWE、Android、Web、OS 共 7 大域 |
为什么通用基准行不通？ 因为世界模型的输出是"模拟的环境观察"，没有唯一标准答案，正确性需要同时看格式、事实、连贯性等多个侧面。官方专门构建了 AgentWorldBench 基准（数据集：Qwen/AgentWorldBench），用 LLM-as-Judge 方式打分。
📖 详细说明见仓库文档：README.md
二、五维评分标准：AgentWorldBench 如何给世界模型打分？
AgentWorldBench 对每条预测的环境观察，由 LLM 裁判按 5 个维度打分（每个维度归一化到 0–100）：
| 维度 | 英文名称 | 考核什么 |
|---|---|---|
| 格式 | Format | 输出是否符合目标环境的结构（终端文本、API 响应、GUI 描述等） |
| 事实性 | Factuality | 预测的文件内容、命令输出、接口返回是否与事实一致 |
| 一致性 | Consistency | 多轮交互中状态演化是否前后自洽 |
| 真实感 | Realism | 模拟环境是否具备"真实系统"的行为质感 |
| 质量 | Quality | 观察信息的信息密度、可读性与实用性 |
打分流程：每个领域内取 5 维均值得到领域分（0–100），再对 7 大领域求平均得到 Overall 总分。
三、评测环境准备：三步搭好流水线
3.1 获取评测代码与基准数据集
- 获取 Qwen-AgentWorld 评测代码仓库（包含
eval/评测脚本与prompts/领域提示词模板，每个领域目录下含system_prompt.txt世界模型系统提示词和judge_system_prompt.txt评测提示词） - 下载 AgentWorldBench 基准数据集
- 安装依赖
# 下载基准数据集
huggingface-cli download Qwen/AgentWorldBench --repo-type dataset --local-dir ./AgentWorldBench
# 安装依赖
pip install openai
3.2 部署被评测模型为 OpenAI 兼容 API
以 SGLang 为例（vLLM 同理，官方均提供了启动命令）：
python -m sglang.launch_server \
--model-path Qwen/Qwen-AgentWorld-35B-A3B \
--port 8000 \
--tp-size 4 \
--context-length 262144 \
--reasoning-parser qwen3
服务启动后，OpenAI 兼容 API 位于 http://localhost:8000/v1。
⚠️ 上下文长度注意：模型默认 262,144 tokens 上下文；若遇到 OOM 可适当调小，但官方建议至少保留 128K——世界模型的多轮环境模拟依赖长上下文。
💡 如果你打算本地部署评测（如用 llama.cpp），可直接从本仓库下载 GGUF 量化权重：
git clone https://gitcode.com/hf_mirrors/unsloth/Qwen-AgentWorld-35B-A3B-GGUF
完整文件清单与选型建议见 第六节。
3.3 领域系统提示词
评测/模拟时应使用对应领域的专用系统提示词（prompts/ 目录按 7 大域各提供一份），这是保证模拟保真度的关键。例如 Terminal 领域的提示词会声明："你是一个模拟 Linux 终端环境的语言世界模型，根据用户命令预测终端输出。"
四、评测流水线实战：infer → judge → score 三步走
进入评测目录后，整条流水线只有三条命令 🚀：
cd eval
# Step 1: 运行世界模型推理，产出预测
python eval.py infer \
--data-dir ../AgentWorldBench \
--model-base-url http://localhost:8000/v1 \
--model-name Qwen/Qwen-AgentWorld-35B-A3B \
--output-dir ./results
# Step 2: 运行 LLM 裁判，对预测逐条五维打分
export OPENAI_API_KEY="your-api-key"
python eval.py judge \
--predictions ./results/predictions.jsonl \
--judge-base-url https://api.openai.com/v1 \
--judge-model gpt-5.2-2025-12-11 \
--output-dir ./results
# Step 3: 聚合展示分数
python eval.py score --predictions ./results/judged.jsonl
三步分工：
| 步骤 | 命令 | 输入 | 输出 |
|---|---|---|---|
| 推理 | eval.py infer |
基准数据集 + 模型 API | predictions.jsonl（模型预测的环境观察） |
| 裁判 | eval.py judge |
预测文件 + 裁判模型 API | judged.jsonl（五维逐条打分） |
| 汇总 | eval.py score |
裁判结果 | 领域分 + Overall 总分 |
💡 裁判模型（judge）与被评测模型相互独立：裁判负责"阅卷"，被评测模型负责"答题"。
judge步骤的--judge-base-url可替换为你自己的裁判服务地址。
五、实战打分解读：Qwen-AgentWorld-35B-A3B 得了多少分？
官方在 AgentWorldBench 上公布的完整榜单（节选关键模型，满分 100）📊：
| 模型 | MCP | Search | Term. | SWE | Android | Web | OS | Overall |
|---|---|---|---|---|---|---|---|---|
| GPT-5.4 | 70.10 | 37.26 | 53.69 | 66.29 | 60.00 | 51.80 | 68.58 | 58.25 |
| Claude Opus 4.6 | 69.90 | 29.30 | 57.51 | 64.55 | 61.74 | 51.42 | 70.20 | 57.80 |
| Claude Opus 4.8 | 54.93 | 35.14 | 59.18 | 64.10 | 61.50 | 54.66 | 66.62 | 56.59 |
| Qwen-AgentWorld-35B-A3B | 64.79 | 36.69 | 53.96 | 65.63 | 58.17 | 49.55 | 65.92 | 56.39 |
| Qwen3.5-35B-A3B（基座） | 57.87 | 25.98 | 46.13 | 47.58 | 53.18 | 47.10 | 56.27 | 47.73 |
| Qwen-AgentWorld-397B-A17B | 68.24 | 37.82 | 57.73 | 68.49 | 60.20 | 50.98 | 67.89 | 58.71 |
结果怎么读？ 🔍
- Overall 56.39，跻身第一梯队：仅低于 GPT-5.4（58.25）和 Claude Opus 4.6（57.80），并反超 Claude Opus 4.8（56.59）。
- 世界模型训练带来 +8.66 分：对比同规格基座 Qwen3.5-35B-A3B（47.73），CPT + SFT + RL 三阶段训练直接拉升 8.66 分——这就是"原生世界模型"的价值。
- 小模型逼近大模型：35B-A3B 与旗舰 397B-A17B（58.71）仅差 2.32 分，且推理成本远低于后者。
- 领域长板：MCP 工具调用 64.79、SWE 软件工程 65.63、OS 65.92 表现突出；短板在 Web（49.55）与 Search（36.69）——但 Search 是所有模型的"最难领域"（榜首 GPT-5.4 也只有 37.26），并非单点失败。
六、GGUF 量化文件选型：低显存也能跑本地评测
本仓库提供 Unsloth Dynamic 2.0 全量化档位 GGUF 权重（基于 imatrix_unsloth.gguf_file 信息矩阵量化，同位宽下精度优于普通量化），覆盖 2-bit 到 BF16 全精度，可按显存任选：
选型速查 🎯
- ≤12 GB 显存：
IQ2_XXS/IQ2_M，适合先验证跑通，别用于正式评测 - 16 GB 显存：
Q3_K_M/Q3_K_XL，日常可用 - 20~24 GB 显存（推荐）：
Q4_K_M/Q4_K_XL/MXFP4_MOE，精度与体积最佳平衡，本地评测首选 - 30 GB+ 显存：
Q6_K或Q8_0，追求最高模拟保真度 - 65 GB+ 显存：BF16 全精度，与官方评测结果直接对齐
由于该模型是 35B 总参 / 仅 3B 激活的 MoE 架构，低显存下推理速度依然可观，16 GB 显卡跑 Q4 档做多轮环境模拟是完全可行的。
七、采样参数与评测避坑指南
官方 Best Practices（直接影响打分的细节都在这）⚙️：
- 采样参数：
temperature=0.6、top_p=0.95、top_k=20——评测时务必保持一致，否则分数不可比。 - 输出长度：多数查询建议
max_tokens=32,768；长多步轨迹可进一步调大，避免截断的"半截观察"拉低 Format/Consistency 得分。 - 思维链是正常现象：模型默认开启思考模式（
think...块），先对环境状态转移推理、再输出预测观察——看到长段思维链不要中断请求。 - 上下文别低于 128K：多轮模拟依赖长上下文，盲目压缩上下文会让 Consistency 维度明显掉分。
- 使用领域系统提示词：7 大域各有专用 system prompt，用错或缺省会同时拉低 Format 与 Realism。
八、写在最后
评测语言世界模型的核心思路可以浓缩为一句话：没有标准答案，就用 LLM 裁判 + 多维量表。AgentWorldBench 的五维体系（Format / Factuality / Consistency / Realism / Quality）+ 三步流水线（infer → judge → score），把"模拟得像不像真实环境"这件模糊的事，变成了可复现、可对比的分数。而 Qwen-AgentWorld-35B-A3B 以 56.39 的 Overall 证明：经过 CPT → SFT → RL 训练的"原生世界模型"，已经能在多数领域比肩顶级闭源大模型——而且 3B 激活参数意味着你甚至可以在本地跑起它。🚀