让AI看图做判断:amos-1-large视觉决策与region目标定位功能实战指南

原创2026-11-14 12:25:561,372 阅读

让AI看图做判断:amos-1-large视觉决策与region目标定位功能实战指南

amos-1-large 是一个 27B 参数的视觉决策模型:给它一个案例(文字、JSON 或一张照片)和一组带类型的问题,它在一次前向推理中回答所有问题,并为每个允许的选项直接输出概率——不生成任何文本,因此没有格式错乱、无需解析。本文重点讲清它的两大看图能力:视觉决策与 region 目标定位,并带你三步本地跑通。📸

为什么"决策模型"不一样

普通大模型回答问题靠"生成文字",而 amos-1-large 的答案是直接算出来的概率分布:

对比项 普通 LLM amos-1-large
答案形式 自由文本,需解析 选项概率向量,天然结构化
输出风险 幻觉、格式错误 无——答案限定在你给的选项内
多问同答 串行多轮 一次前向,全部问题同答
基准成绩 — Decision Bench 94.9%(含图片记录)

它基于 Qwen3.8-27B 底座,内置 SigLIP 视觉塔:图片被切成 14×14 的 patch 网格,再 2×2 合并为 49 个图像 token 送入文本编码器,图片与文字在同一注意力空间里"对话"(实现见 serve/amos/vision.py)。

六种题型:从"是/否"到"指给 AI 看"

每个请求可混用以下六种题型(定义见 serve/amos/packing.py 中的 TYPES):

题型 作用 典型场景
noul 是/否,输出 P(是) 客户是否要求退款
choice 单选(2–255 项) 该转给哪个团队
score 打分,输出期望分 紧急程度 0–3 级
multi 多选(每项独立概率) 票据上出现哪些异常
span 从原文中引用片段 摘出发票总金额
region 在照片中指出位置 框出图中指定的物体

其中 span 和 region 属于"头型"问题,由模型附带的专用头部回答,权重保存在 model/heads.pt。

region 目标定位:49 格点阵 + 预测框

region 题是"视觉目标定位"的极简实现。原理分两步(代码在 serve/amos/decoder.py):

  1. 点(point head):模型把问题向量与首张图的 49 个图像 token 逐一打分,softmax 后得到一张 7×7 的概率热图——概率最高的格子就是"目标中心"。
  2. 框(BoxHead):一个小 MLP 读取问题向量、图像特征和目标分布的中心/离散度,在热图峰值附近预测出包围整个对象的归一化边界框 [x0, y0, x1, y1](坐标范围 0–1,可直接乘宽高画到图上)。它专门针对"只框住高置信格子"的毛病做了训练——比如要框整辆车,而不是只框尾灯。

官方在 RefCOCO 上的成绩:框中心落在目标内 91.9%,框覆盖目标一半以上 71.3%;COCO 上中心命中率 98.4%。🎯

一键启动:3 步在本地跑起视觉决策服务

要求:Python 3.12、NVIDIA GPU(80 GB 显存可从容运行,最长支持 131,072 token 请求)。

# 1. 下载模型(含 model/、config.json、calibration.json)
hf download mukaddamzaid/amos-1-large --local-dir amos-1-large

# 2. 安装服务包(依赖已固定:torch 2.14.0 等)
pip install ./amos-1-large/serve

# 3. 启动 HTTP 服务
python -m amos.serve amos-1-large --device cuda --port 8000 --max-len 131072

详细参数(--strict、--rotations、--no-state-cache)见 serve/README.md。

发一个"看图+指物"请求

照片以 base64(或 data URL)放进 images,region 题会自动读取第一张图。最小示例:

curl http://127.0.0.1:8000/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": "This is the damaged delivery package.",
  "images": ["data:image/jpeg;base64,/9j/4AAQ..."],
  "questions": {
    "damaged":   {"type": "noul", "instructions": "Is the box visibly damaged?"},
    "damage_pos": {"type": "region", "instructions": "Where is the main damage?"}
  }
}'

region 题的响应形如(格式定义见 serve/amos/serve.py):

{"type": "region", "box": [0.32, 0.41, 0.68, 0.79], "cell": 25, "confidence": 0.83}
  • box:归一化边界框,乘上图片宽高就是像素坐标;
  • cell:0–48 的格子编号(对应 7×7 图像 token 网格);
  • confidence:落在框内的概率质量。

同一次请求里你还可以混入 choice、score 等题型,一次调用全部返回。

关键文件速查

路径 说明
model/ 权重、分词器、图像处理器与 model/heads.pt(span/region 头部)
model/preprocessor_config.json 视觉预处理配置
calibration.json 引用解码的温度/上限参数,服务启动时读取
serve/amos/vision.py SigLIP 视觉塔 + 2×2 投影器 + 峰值框逻辑
serve/amos/decoder.py 选项编码、BoxHead 与 decode_head(region 解码)
serve/amos/serve.py HTTP 服务与 /v1/systemone 请求/响应格式
typed_decisions.json 发布时的 typed-decisions 测试成绩

适合哪些场景?注意这些限制

✅ 适合:保险定损/票据审核(看图 + 判断 + 引用金额)、客服工单路由、质检场景的"哪里不合格"定位、任何需要结构化概率输出而非自由文本的自动化决策。

⚠️ 限制(摘自 README.md):

  • 家族四档中速度最慢(换来了最强的多步推理与长政策理解);
  • 仅支持英文;
  • span 长引用(如整段条款)可能被截短;
  • region 定位依赖 heads.pt,且只针对第一张 state 图提问。

小结

amos-1-large 把"看图"与"决策"焊死在同一个前向过程里:文字与照片混合输入,六种题型任意组合,输出永远是可直接入库的概率与坐标。region 题用 49 格热图加预测框的方式,把"目标在哪"变成了 4 个 0–1 的数——这就是视觉决策模型相对聊天机器人的核心差异。本地 3 条命令即可上手,不妨先拿一张发票照片试试框出"总金额"。

登录后查看全文
amos-1-large