RynnBrain物体定位教程:如何用一句指令画出精准Bounding Box
RynnBrain物体定位教程:如何用一句指令画出精准Bounding Box
RynnBrain 1.1 是阿里达摩院开源的具身基础模型(Embodied Foundation Model),物体定位(Object Grounding) 是它最直观、最易上手的能力之一:只需给出一张图像或一段视频,再用一句自然语言指令描述目标,模型就会输出 Bounding Box 的坐标点,你可以把它直接画在画面上,定位到具体的物体、区域或交互位置。本教程带你从环境安装、Prompt 模板到可视化绘制,完整走通 RynnBrain 物体定位的全流程。
为什么选择 RynnBrain 做物体定位
🧠 RynnBrain 1.1 采用统一的 decoder-only 视觉-语言架构,提供 2B / 9B / 122B-A10B 三个规格,从轻量小模型到首个 122B 级稀疏 MoE 具身大脑,覆盖不同硬件条件下的部署需求。
与传统的目标检测框架不同,RynnBrain 把定位当作"语言任务"来完成:
- 指令驱动:用自然语言描述目标("能快速加热食物的家电"),无需预定义类别标签
- 坐标即文本:直接生成归一化坐标序列,输出天然对齐文本,方便后处理
- 多模态输入:同时支持单帧图像和第一视角(egocentric)视频
- 具身场景理解:面向真实机器人场景训练,理解空间、区域与物体关系
架构细节可参阅 README.md 的 Model Architecture 章节。
快速安装:一步准备运行环境
整个流程依赖极简,只需安装指定版本的 transformers:
pip install transformers==5.2.0
三个模型的对比与选型建议:
| 模型 | 底模 | 适用场景 |
|---|---|---|
| RynnBrain1.1-2B | Qwen3.5-2B | 单卡消费级 GPU,快速验证与轻量部署 |
| RynnBrain1.1-9B | Qwen3.5-9B | 精度与速度均衡,推荐生产环境 |
| RynnBrain1.1-122B-A10B | Qwen3.5-122B-A10B | 多卡集群,追求极致定位精度 |
模型权重可在 Hugging Face / ModelScope 的官方 Model Zoo 中获取,加载代码见 cookbooks/3_object_grounding.ipynb 中的通用模型加载部分。
图像物体定位:一句话画出 Bounding Box
📸 图像定位是最简单的起点。核心在于两行 Prompt:
- 第一行:自然语言指令,描述你要找什么
- 第二行:固定格式约束,告诉模型按
<object> (x1, y1), (x2, y2) </object>输出坐标,且坐标范围约束在[0, 1000]
以"找出能快速加热食物的家电"为例:
What appliance can be used to heat food quickly.
Generate coordinates for one object bounding box. Constraints: x1,y1,x2,y2 ∈ [0,1000]. Response must be in the format: <object> (x1, y1), (x2, y2) </object>
模型会直接返回微波炉对应的两个坐标点(左上角与右下角):
关键技巧:指令写得越具体(属性 + 功能 + 位置),框选越精准。比如 "the black microwave above the stove" 比单纯 "microwave" 更稳定。
视频物体定位:自动选中目标帧再画框
🎬 视频场景比图像多了一个维度——时间。RynnBrain 支持在整段第一视角视频中定位目标,输出会带上帧号:
Please detect the blue cloth in the bathroom in this video.
Output the bounding box in format <object> <frame n>: (x1,y1), (x2,y2) </object>, where x,y are in the range of (0,1000), n is the chosen frame index.
<frame n> 表示模型自选的目标帧索引。下面是一段浴室第一视角视频的首帧与后续帧,模型会在其中挑出蓝色毛巾最清晰的那一帧并输出该帧上的 Bounding Box:
在 Gradio Demo 中处理视频时按 2 FPS 抽帧(每 0.5 秒一帧),最长 512 帧,完整逻辑见 demo.py。
坐标如何画到图上:0-1000 归一化的妙处
RynnBrain 输出的是 0~1000 区间的归一化坐标,与图像真实分辨率解耦——无论你的图是 640×427 还是 1920×1080,坐标语义一致,只需做一次线性映射即可还原为像素坐标。
cookbook 中提供了现成的两个工具函数,核心换算逻辑只有几行:
def convert_bbox_to_raw(bbox, w, h):
bbox_norm = [max(0, min(1000, v)) for v in bbox]
return [
int(round(bbox_norm[0] / 1000 * (w - 1))),
int(round(bbox_norm[1] / 1000 * (h - 1))),
int(round(bbox_norm[2] / 1000 * (w - 1))),
int(round(bbox_norm[3] / 1000 * (h - 1))),
]
之后用 PIL.ImageDraw.rectangle 把 (x1, y1), (x2, y2) 画成矩形即可。draw_bbox_on_image 与 parse_bbox 的完整实现见 cookbooks/3_object_grounding.ipynb,直接复制就能用。
✅ 小贴士:换算时注意用 (w - 1) 而非 w 作为除数,可避免框边超出图像边界一像素的问题。
Gradio 交互 Demo:浏览器里直接玩物体定位
不想写脚本?项目自带一个交互式网页 Demo,运行 demo.py 即可在浏览器中体验:
- 上传图像或视频
- 输入文本指令
- (可选)在画面上点选两个点,手动给出 object 视觉提示
- 点击 Submit,聊天窗口即时显示模型回答与绘制结果
Demo 还支持视觉提示(Visual Prompt):用 <object> (x1,y1), (x2,y2) </object> 把"两个点"作为输入条件,模型在已知框的基础上回答更细的问题,实现"指哪打哪"的交互体验。
从画框到行动:RynnBrain 的定位能力家族
Bounding Box 只是起点。RynnBrain 1.1 的定位能力已形成完整家族,全部可在 cookbooks 目录中复现:
| 能力 | Cookbook | 说明 |
|---|---|---|
| 物体定位 | 3_object_grounding.ipynb | 图像/视频中按指令画框 |
| 区域定位 | 4_area_location.ipynb | 用多个点标记指定区域 |
| 可交互区域定位 | 5_affordance_location.ipynb | 找到可被抓握/按压的部位 |
| 轨迹定位 | 6_trajectory_location.ipynb | 推断并标注运动路径 |
| 接触点预测 | 7_contact_point_prediction.ipynb | 1.1 新增:预测抓取接触点与姿态 |
| 3D 定位 | 8_3d_grounding.ipynb | 1.1 新增:单图预测 3D Bounding Box |
比如问"水龙头从哪里可以打开",模型输出的就不是一个框,而是指向把手的具体位置:
常见问题 FAQ
Q:为什么坐标范围是 0~1000 而不是 0~1? A:整数坐标精度足够(0.1% 分辨率)且便于模型生成文本 token,是视觉-语言模型社区的主流约定。
Q:一张图要框多个目标怎么办? A:把指令改为 "Generate coordinates for N object bounding boxes",模型会按顺序输出多组坐标。
Q:定位不准,如何优化? A:① 指令加入颜色、材质、相对位置等属性描述;② 换用更大的 9B 或 122B 模型;③ 结合 Gradio Demo 中的点选视觉提示做二阶段精修。
总结
RynnBrain 1.1 把"一句话定位"变成了开箱即用的能力:transformers 一行安装 → 两句式 Prompt 模板 → 0-1000 归一化坐标 → 几行代码完成绘制,图像、视频、区域、轨迹到 3D 定位一路打通。如果你正在为具身智能项目寻找"看得懂、指得准"的感知底座,不妨从 cookbooks 里的示例开始跑起来。




