Timestral 长程预测解码机制:块自回归(Block AR)如何突破单块限制预测 32768 步
Timestral 长程预测解码机制:块自回归(Block AR)如何突破单块限制预测 32768 步
Timestral 是 Mistral AI 推出的时间序列基础模型(time-series foundation model),支持多变量概率预测、协变量条件化,以及最长 32768 步的长上下文。它的长程预测解码机制——块自回归(Block AR)——正是突破"单块只能预测 1024 步"限制的关键。本文带你用最少代码,读懂这套机制是如何工作的。
单块解码的天花板:1024 步
Timestral 是一个基于 patch(补丁) 的因果 Transformer。预测前,时间轴被切成小块:
| 参数 | 含义 | 默认值 |
|---|---|---|
patch_size |
每个 patch 包含的时间步 | 32 步 |
block_size |
训练时 DHF 块的最大 patch 数 | 32 patches |
context_length |
训练时的上下文长度(默认上限) | 32768 步 |
| 量化层数 | 每个时间步输出的分位数 | 21 个 |
这些设定定义在 TimestralConfig 中,随 config.json 与每个模型权重一起发布。
模型采用 DHF(Decoupled Horizon Forecasting) 训练:预测由独立的"预测查询 token"从因果编码的上下文中读出(见 build_forecast_time_mask 的注意力掩码)。这意味着单次前向传播最多解码一个块:32 个 patch × 32 步 = 1024 步。
要预测更远?就得让模型"滚"起来——这就是块自回归。
Block AR 解码循环:预测 → 回灌 → 滑动窗口
核心逻辑在 TimestralForecaster._block_ar_decode,每个解码块做三件事:
- 预测一个块。调用 TimestralModel.predict_block,以上下文为条件,一次产出该块内每个时间步的 21 个分位数。
- 回灌中位数。把该块预测的中位数(0.5 分位)当作"新历史"拼接到上下文末尾,供下一块继续读取。
- 滑动窗口。上下文超过
max_context(默认 32768 步)时,丢弃最旧的步,只保留最近窗口。
如此循环,直到预测满 prediction_length 步。README 对这一行为的描述很精炼:
Horizons longer than one decode block (32 patches = 1024 steps) are forecast block by block; each block's median is fed back as context.
📈 以 prediction_length=4096 为例:模型会解码 4 个块,每块 1024 步,逐块滚动,无需任何手动分块。
三种回灌信号:目标、已知未来与纯历史协变量
回灌并非一律用预测值,回灌逻辑 按变量角色区分三种信号:
- 目标变量(target):回灌本块预测的中位数;若中位数出现极端值(≥
extreme_value_threshold),先置 0 防止发散; - 已知未来协变量(known-future):回灌真实的未来值(
known_covariates已覆盖预测区间),不确定度不会在这类行上累积; - 纯历史协变量(past-only):回灌空白(masked 为零),因为它们未来没有值。
此外,每个解码块还会经过 _refine_block:把块内每个 horizon patch 从"锚定帧"重新反归一化到推进细化帧(advancing refine frame)——由 advancing_block_frames 用"观测上下文 + 块内已回灌中位数"的因果统计量逐 patch 计算,保证与训练时的归一化方式一致,长块尾部数值更稳。
关键参数速查:控制长程预测行为
这些参数在 TimestralForecaster.init 中定义,可直接传给 from_pretrained:
| 参数 | 作用 | 默认值 |
|---|---|---|
max_context |
上下文步数上限,保留最最近的步 | 训练长度 32768 |
per_shot_horizon_patches |
每块解码的 patch 数(≤ block_size) |
32 |
quantile_real_cap_k |
分位数截断范围:上下文 [min, max] ± k·s |
1e4 |
quantile_real_cap_k 是长程滚动的"安全阀":把每块输出截断在观测上下文范围附近,抑制误差沿块累积时可能出现的爆炸(见 _cap_quantiles)。
动手跑一个长程预测
只需几行代码,多块的 Block AR 滚动全部自动完成(完整接口见 README.md):
from timestral import TimestralForecaster
forecaster = TimestralForecaster.from_pretrained("mistralai/Timestral-209M")
forecast = forecaster.forecast(context, prediction_length=4096) # 自动滚动 4 个块
print(forecast.quantiles.shape) # (B, V, 4096, 21):21 个分位数的概率预测
输出的 Forecast 对象提供 median(中位数)与 quantile(0.9)(任意水平)等便捷访问;默认还开启 Clampsym 测试时增强:对称平均(对 -context 预测再镜像取平均)与非负截断,进一步提升数值稳健性。相关行为可参考单元测试 test_forecaster.py。
小结:Block AR 的三点精髓
- 单块能力:DHF 训练让一次前向最多解码
block_size(32 patches = 1024 步); - 块间滚动:中位数回灌让每块预测成为下一块的"历史",配合
max_context = 32768的滑动窗口实现超长视野; - 数值稳健:极端值替换、
quantile_real_cap_k截断与推进细化帧归一化,三重机制压制长程累积误差。
想深入源码,推荐从 src/timestral/forecaster.py 的 _block_ar_decode 入手,再看 src/timestral/model.py 的单块预测原语与 src/timestral/scaler.py 的因果归一化实现。
