Alpamayo 2 Edge轨迹Tokenizer机制:Delta/Discrete分词与历史/未来token化详解

原创2026-11-12 11:06:221,672 阅读
文章标签:人工智能多模态自动驾驶计算机视觉具身智能

Alpamayo 2 Edge轨迹Tokenizer机制:Delta/Discrete分词与历史/未来token化详解

NVIDIA Alpamayo 2 Edge 是一个 2B 参数的视觉-语言-动作(VLA)自动驾驶模型:输入多相机图像、导航指令与自车运动历史,输出驾驶推理文本(Chain-of-Causation)和未来 6.4 秒的行驶轨迹。本文带你完整看懂它的轨迹 Tokenizer 机制:历史轨迹的 Delta 分词、未来轨迹的 Discrete 分词,以及这些 token 如何并入大模型词表。

为什么轨迹必须"分词"?🧩

大语言模型只能处理离散的 token 序列,而车辆轨迹是连续数值(位置、速度、曲率……)。为了让 Transformer 统一"读懂"驾驶历史并参与轨迹预测训练,Alpamayo 2 Edge 为轨迹增设了两套子词表:

  • 历史轨迹(Egomotion History):过去约 2 秒的自车运动,作为输入被 token 化
  • 未来轨迹(Future Trajectory):未来 6.4 秒的行驶计划,token 化后参与序列级训练

分词之后,轨迹与文本、图像 token 排进同一条序列,用一个模型端到端处理。

轨迹 Tokenizer 关键参数一览

所有配置集中在 config.json:

参数 取值 含义
hist_traj_tokenizer_cfg DeltaTrajectoryTokenizer 历史轨迹用 Delta 分词
history_vocab_size 1000 历史轨迹离散 bin 数
tokens_per_history_traj 57 每段历史轨迹 57 个 token
future_traj_tokenizer_cfg DiscreteTrajectoryTokenizer 未来轨迹用 Discrete 分词
future_vocab_size / num_bins 3000 未来轨迹离散 bin 数
tokens_per_future_traj 128 每段未来轨迹 128 个 token
traj_vocab_size 4000 1000 + 3000 = 4000 个轨迹 token

历史轨迹:Delta 分词(DeltaTrajectoryTokenizer)

Delta 分词是什么?

模型输入包含 20 个历史自车位姿,按 0.1 秒固定间隔覆盖 −1.9 到 0 秒(见 README.md 的 Input 一节)。DeltaTrajectoryTokenizer(config.json)不直接对绝对坐标离散化,而是先计算相邻位姿之间的差值(Delta),再对差值做量化。

这样设计的好处很直观:

  • 绝对位置会随行驶距离不断增大,而相对差值始终落在小而稳定的区间,量化 bin 利用率更高
  • Delta 天然编码"运动状态"(加速、减速、转弯趋势),更贴合驾驶语义
  • 相对表示对全局坐标系的偏移天然鲁棒

每段历史轨迹被序列化为 57 个 token,并用 history_start / history_end 特殊 token 在序列中标出边界。

未来轨迹:Discrete 分词(DiscreteTrajectoryTokenizer)

独轮车动作空间:两个量描述一步轨迹 🚗

未来轨迹采用 UnicycleAccelCurvatureCourseActionSpace(config.json):每个时刻只用两个物理量描述——加速度 a 与曲率 κ,物理约束为:

量 允许范围 训练数据统计量
加速度 a −9.8 ~ 9.8 m/s² mean ≈ 0.029,std ≈ 0.681
曲率 κ −0.33 ~ 0.33 1/m mean ≈ 0.0003,std ≈ 0.0261

先按训练集的均值、标准差做标准化,再离散化到 3000 个 bin(量化范围 ±10,见 dims_min / dims_max)。

64 个航点 × 2 维 = 128 个 token

轨迹共 64 个航点(dt = 0.1s,覆盖 0.1 至 6.4 秒),每一步需要加速度、曲率各 1 个 token:

64 航点 × 2 维(a, κ) = 128 token  →  恰好等于 tokens_per_future_traj

未来轨迹在 token 序列中由 future_start / future_end 特殊 token 定界,需要变长时以 future_pad 填充。

离散 token 如何变成连续轨迹?💡

关键一点:推理时最终连续轨迹不是由 LLM 逐个吐 token 拼出来的。Alpamayo 2 Edge 的分层架构是:

  1. VLM 主干(Cosmos 3 Edge)读取图像、文本与历史 token,先生成驾驶推理文本
  2. 动作专家(Action Expert)——一个 28 层 Transformer(约 0.2B 参数,model.safetensors.index.json 中 expert.* 前缀的参数即其权重)——用 flow-matching 扩散生成连续动作序列,默认 10 步 Euler 积分、guidance 权重 3.0(config.json)
  3. 动作专家输出每步的加速度与曲率,再由独轮车模型积分出 64 个航点的 (x, y, z) 位置与 3×3 旋转矩阵

离散的未来 token 则服务于序列级训练:loss_weights 中 future_traj = 1.0(config.json),表示未来轨迹 token 以权重 1.0 参与训练损失,让 LLM 的隐状态与未来运动学对齐。

4000 个轨迹 token 在词表中的位置

原本文本词表为 131072,轨迹 token 追加在其后。各特殊 token 的 ID 记录在 traj_ids(config.json):

ID 名称 作用
131072 history_id0 1000 个历史 bin 的起始 ID
132072 future_id0 3000 个未来 bin 的起始 ID
135077 / 135079 history_start / history_end 历史块起始 / 结束标记
135084 / 135086 future_start / future_end 未来块起始 / 结束标记
135087 / 135088 history_pad / future_pad 历史 / 未来填充

扩展后总词表大小达到 135168(config.json 中 llm_config.vocab_size)。

推理与微调速查 ⚡

  • 采样参数:generation_config.json 设定 do_sample: true、temperature: 1.0、top_p: 1.0,允许采样出多样化的推理文本与轨迹候选
  • 候选数量:推理 CLI 通过 --num-traj-sets × --num-traj-samples(默认均为 1)生成候选轨迹,--diffusion-steps 控制 flow-matching 步数;每条轨迹候选都带独立采样的推理文本
  • 对话模板:chat_template.jinja 中驾驶提示以空 think 块收尾,模型随后直接书写驾驶推理;套用模板时需指定 enable_thinking=False
  • 图像处理:processor_config.json 使用 Cosmos3EdgeImageProcessor,按每相机像素预算(163840 ~ 196608 像素)缩放并以均值/标准差 0.5 归一化
  • 硬件门槛:在 NVIDIA H100 80GB 上验证过;22 帧图像、约 3236 个 prompt token 的单样本推理,峰值显存约 12.06 GiB(见 README.md Inference 一节)

小结

Alpamayo 2 Edge 的轨迹 Tokenizer 用三步优雅地把"连续驾驶数据"喂进离散 LLM:

  1. 历史走 Delta:20 个自车位姿做差值编码 → 57 个 token(1000 bin)
  2. 未来走 Discrete:64 步(加速度, 曲率)直接离散 → 128 个 token(3000 bin)
  3. 连续输出靠扩散:动作专家 + 独轮车积分产出最终 64 航点轨迹(0.1 ~ 6.4 秒)

理解这套 Delta / Discrete 分词机制,能帮你自定义轨迹表示来微调 Alpamayo 2 Edge,或为自己的 VLA 模型设计轨迹编码方案。

登录后查看全文
Alpamayo2-Edge