Alpamayo 2 Edge轨迹Tokenizer机制:Delta/Discrete分词与历史/未来token化详解
Alpamayo 2 Edge轨迹Tokenizer机制:Delta/Discrete分词与历史/未来token化详解
NVIDIA Alpamayo 2 Edge 是一个 2B 参数的视觉-语言-动作(VLA)自动驾驶模型:输入多相机图像、导航指令与自车运动历史,输出驾驶推理文本(Chain-of-Causation)和未来 6.4 秒的行驶轨迹。本文带你完整看懂它的轨迹 Tokenizer 机制:历史轨迹的 Delta 分词、未来轨迹的 Discrete 分词,以及这些 token 如何并入大模型词表。
为什么轨迹必须"分词"?🧩
大语言模型只能处理离散的 token 序列,而车辆轨迹是连续数值(位置、速度、曲率……)。为了让 Transformer 统一"读懂"驾驶历史并参与轨迹预测训练,Alpamayo 2 Edge 为轨迹增设了两套子词表:
- 历史轨迹(Egomotion History):过去约 2 秒的自车运动,作为输入被 token 化
- 未来轨迹(Future Trajectory):未来 6.4 秒的行驶计划,token 化后参与序列级训练
分词之后,轨迹与文本、图像 token 排进同一条序列,用一个模型端到端处理。
轨迹 Tokenizer 关键参数一览
所有配置集中在 config.json:
| 参数 | 取值 | 含义 |
|---|---|---|
hist_traj_tokenizer_cfg |
DeltaTrajectoryTokenizer |
历史轨迹用 Delta 分词 |
history_vocab_size |
1000 | 历史轨迹离散 bin 数 |
tokens_per_history_traj |
57 | 每段历史轨迹 57 个 token |
future_traj_tokenizer_cfg |
DiscreteTrajectoryTokenizer |
未来轨迹用 Discrete 分词 |
future_vocab_size / num_bins |
3000 | 未来轨迹离散 bin 数 |
tokens_per_future_traj |
128 | 每段未来轨迹 128 个 token |
traj_vocab_size |
4000 | 1000 + 3000 = 4000 个轨迹 token |
历史轨迹:Delta 分词(DeltaTrajectoryTokenizer)
Delta 分词是什么?
模型输入包含 20 个历史自车位姿,按 0.1 秒固定间隔覆盖 −1.9 到 0 秒(见 README.md 的 Input 一节)。DeltaTrajectoryTokenizer(config.json)不直接对绝对坐标离散化,而是先计算相邻位姿之间的差值(Delta),再对差值做量化。
这样设计的好处很直观:
- 绝对位置会随行驶距离不断增大,而相对差值始终落在小而稳定的区间,量化 bin 利用率更高
- Delta 天然编码"运动状态"(加速、减速、转弯趋势),更贴合驾驶语义
- 相对表示对全局坐标系的偏移天然鲁棒
每段历史轨迹被序列化为 57 个 token,并用 history_start / history_end 特殊 token 在序列中标出边界。
未来轨迹:Discrete 分词(DiscreteTrajectoryTokenizer)
独轮车动作空间:两个量描述一步轨迹 🚗
未来轨迹采用 UnicycleAccelCurvatureCourseActionSpace(config.json):每个时刻只用两个物理量描述——加速度 a 与曲率 κ,物理约束为:
| 量 | 允许范围 | 训练数据统计量 |
|---|---|---|
| 加速度 a | −9.8 ~ 9.8 m/s² | mean ≈ 0.029,std ≈ 0.681 |
| 曲率 κ | −0.33 ~ 0.33 1/m | mean ≈ 0.0003,std ≈ 0.0261 |
先按训练集的均值、标准差做标准化,再离散化到 3000 个 bin(量化范围 ±10,见 dims_min / dims_max)。
64 个航点 × 2 维 = 128 个 token
轨迹共 64 个航点(dt = 0.1s,覆盖 0.1 至 6.4 秒),每一步需要加速度、曲率各 1 个 token:
64 航点 × 2 维(a, κ) = 128 token → 恰好等于 tokens_per_future_traj
未来轨迹在 token 序列中由 future_start / future_end 特殊 token 定界,需要变长时以 future_pad 填充。
离散 token 如何变成连续轨迹?💡
关键一点:推理时最终连续轨迹不是由 LLM 逐个吐 token 拼出来的。Alpamayo 2 Edge 的分层架构是:
- VLM 主干(Cosmos 3 Edge)读取图像、文本与历史 token,先生成驾驶推理文本
- 动作专家(Action Expert)——一个 28 层 Transformer(约 0.2B 参数,model.safetensors.index.json 中
expert.*前缀的参数即其权重)——用 flow-matching 扩散生成连续动作序列,默认 10 步 Euler 积分、guidance 权重 3.0(config.json) - 动作专家输出每步的加速度与曲率,再由独轮车模型积分出 64 个航点的 (x, y, z) 位置与 3×3 旋转矩阵
离散的未来 token 则服务于序列级训练:loss_weights 中 future_traj = 1.0(config.json),表示未来轨迹 token 以权重 1.0 参与训练损失,让 LLM 的隐状态与未来运动学对齐。
4000 个轨迹 token 在词表中的位置
原本文本词表为 131072,轨迹 token 追加在其后。各特殊 token 的 ID 记录在 traj_ids(config.json):
| ID | 名称 | 作用 |
|---|---|---|
| 131072 | history_id0 |
1000 个历史 bin 的起始 ID |
| 132072 | future_id0 |
3000 个未来 bin 的起始 ID |
| 135077 / 135079 | history_start / history_end |
历史块起始 / 结束标记 |
| 135084 / 135086 | future_start / future_end |
未来块起始 / 结束标记 |
| 135087 / 135088 | history_pad / future_pad |
历史 / 未来填充 |
扩展后总词表大小达到 135168(config.json 中 llm_config.vocab_size)。
推理与微调速查 ⚡
- 采样参数:generation_config.json 设定
do_sample: true、temperature: 1.0、top_p: 1.0,允许采样出多样化的推理文本与轨迹候选 - 候选数量:推理 CLI 通过
--num-traj-sets×--num-traj-samples(默认均为 1)生成候选轨迹,--diffusion-steps控制 flow-matching 步数;每条轨迹候选都带独立采样的推理文本 - 对话模板:chat_template.jinja 中驾驶提示以空
think块收尾,模型随后直接书写驾驶推理;套用模板时需指定enable_thinking=False - 图像处理:processor_config.json 使用 Cosmos3EdgeImageProcessor,按每相机像素预算(163840 ~ 196608 像素)缩放并以均值/标准差 0.5 归一化
- 硬件门槛:在 NVIDIA H100 80GB 上验证过;22 帧图像、约 3236 个 prompt token 的单样本推理,峰值显存约 12.06 GiB(见 README.md Inference 一节)
小结
Alpamayo 2 Edge 的轨迹 Tokenizer 用三步优雅地把"连续驾驶数据"喂进离散 LLM:
- 历史走 Delta:20 个自车位姿做差值编码 → 57 个 token(1000 bin)
- 未来走 Discrete:64 步(加速度, 曲率)直接离散 → 128 个 token(3000 bin)
- 连续输出靠扩散:动作专家 + 独轮车积分产出最终 64 航点轨迹(0.1 ~ 6.4 秒)
理解这套 Delta / Discrete 分词机制,能帮你自定义轨迹表示来微调 Alpamayo 2 Edge,或为自己的 VLA 模型设计轨迹编码方案。