让AI看图做判断:amos-1-large视觉决策与region目标定位功能实战指南
让AI看图做判断:amos-1-large视觉决策与region目标定位功能实战指南
amos-1-large 是一个 27B 参数的视觉决策模型:给它一个案例(文字、JSON 或一张照片)和一组带类型的问题,它在一次前向推理中回答所有问题,并为每个允许的选项直接输出概率——不生成任何文本,因此没有格式错乱、无需解析。本文重点讲清它的两大看图能力:视觉决策与 region 目标定位,并带你三步本地跑通。📸
为什么"决策模型"不一样
普通大模型回答问题靠"生成文字",而 amos-1-large 的答案是直接算出来的概率分布:
| 对比项 | 普通 LLM | amos-1-large |
|---|---|---|
| 答案形式 | 自由文本,需解析 | 选项概率向量,天然结构化 |
| 输出风险 | 幻觉、格式错误 | 无——答案限定在你给的选项内 |
| 多问同答 | 串行多轮 | 一次前向,全部问题同答 |
| 基准成绩 | — | Decision Bench 94.9%(含图片记录) |
它基于 Qwen3.8-27B 底座,内置 SigLIP 视觉塔:图片被切成 14×14 的 patch 网格,再 2×2 合并为 49 个图像 token 送入文本编码器,图片与文字在同一注意力空间里"对话"(实现见 serve/amos/vision.py)。
六种题型:从"是/否"到"指给 AI 看"
每个请求可混用以下六种题型(定义见 serve/amos/packing.py 中的 TYPES):
| 题型 | 作用 | 典型场景 |
|---|---|---|
noul |
是/否,输出 P(是) | 客户是否要求退款 |
choice |
单选(2–255 项) | 该转给哪个团队 |
score |
打分,输出期望分 | 紧急程度 0–3 级 |
multi |
多选(每项独立概率) | 票据上出现哪些异常 |
span |
从原文中引用片段 | 摘出发票总金额 |
region |
在照片中指出位置 | 框出图中指定的物体 |
其中 span 和 region 属于"头型"问题,由模型附带的专用头部回答,权重保存在 model/heads.pt。
region 目标定位:49 格点阵 + 预测框
region 题是"视觉目标定位"的极简实现。原理分两步(代码在 serve/amos/decoder.py):
- 点(point head):模型把问题向量与首张图的 49 个图像 token 逐一打分,softmax 后得到一张 7×7 的概率热图——概率最高的格子就是"目标中心"。
- 框(BoxHead):一个小 MLP 读取问题向量、图像特征和目标分布的中心/离散度,在热图峰值附近预测出包围整个对象的归一化边界框
[x0, y0, x1, y1](坐标范围 0–1,可直接乘宽高画到图上)。它专门针对"只框住高置信格子"的毛病做了训练——比如要框整辆车,而不是只框尾灯。
官方在 RefCOCO 上的成绩:框中心落在目标内 91.9%,框覆盖目标一半以上 71.3%;COCO 上中心命中率 98.4%。🎯
一键启动:3 步在本地跑起视觉决策服务
要求:Python 3.12、NVIDIA GPU(80 GB 显存可从容运行,最长支持 131,072 token 请求)。
# 1. 下载模型(含 model/、config.json、calibration.json)
hf download mukaddamzaid/amos-1-large --local-dir amos-1-large
# 2. 安装服务包(依赖已固定:torch 2.14.0 等)
pip install ./amos-1-large/serve
# 3. 启动 HTTP 服务
python -m amos.serve amos-1-large --device cuda --port 8000 --max-len 131072
详细参数(--strict、--rotations、--no-state-cache)见 serve/README.md。
发一个"看图+指物"请求
照片以 base64(或 data URL)放进 images,region 题会自动读取第一张图。最小示例:
curl http://127.0.0.1:8000/v1/systemone -H 'Content-Type: application/json' -d '{
"state": "This is the damaged delivery package.",
"images": ["data:image/jpeg;base64,/9j/4AAQ..."],
"questions": {
"damaged": {"type": "noul", "instructions": "Is the box visibly damaged?"},
"damage_pos": {"type": "region", "instructions": "Where is the main damage?"}
}
}'
region 题的响应形如(格式定义见 serve/amos/serve.py):
{"type": "region", "box": [0.32, 0.41, 0.68, 0.79], "cell": 25, "confidence": 0.83}
box:归一化边界框,乘上图片宽高就是像素坐标;cell:0–48 的格子编号(对应 7×7 图像 token 网格);confidence:落在框内的概率质量。
同一次请求里你还可以混入 choice、score 等题型,一次调用全部返回。
关键文件速查
| 路径 | 说明 |
|---|---|
| model/ | 权重、分词器、图像处理器与 model/heads.pt(span/region 头部) |
| model/preprocessor_config.json | 视觉预处理配置 |
| calibration.json | 引用解码的温度/上限参数,服务启动时读取 |
| serve/amos/vision.py | SigLIP 视觉塔 + 2×2 投影器 + 峰值框逻辑 |
| serve/amos/decoder.py | 选项编码、BoxHead 与 decode_head(region 解码) |
| serve/amos/serve.py | HTTP 服务与 /v1/systemone 请求/响应格式 |
| typed_decisions.json | 发布时的 typed-decisions 测试成绩 |
适合哪些场景?注意这些限制
✅ 适合:保险定损/票据审核(看图 + 判断 + 引用金额)、客服工单路由、质检场景的"哪里不合格"定位、任何需要结构化概率输出而非自由文本的自动化决策。
⚠️ 限制(摘自 README.md):
- 家族四档中速度最慢(换来了最强的多步推理与长政策理解);
- 仅支持英文;
span长引用(如整段条款)可能被截短;region定位依赖heads.pt,且只针对第一张 state 图提问。
小结
amos-1-large 把"看图"与"决策"焊死在同一个前向过程里:文字与照片混合输入,六种题型任意组合,输出永远是可直接入库的概率与坐标。region 题用 49 格热图加预测框的方式,把"目标在哪"变成了 4 个 0–1 的数——这就是视觉决策模型相对聊天机器人的核心差异。本地 3 条命令即可上手,不妨先拿一张发票照片试试框出"总金额"。