mini、small、base 三档怎么选?Kronos 模型家族选型实测

原创2026-10-20 15:41:311,976 阅读
文章标签:人工智能基础模型大模型深度学习机器学习微调金融科技数据分析

mini、small、base 三档怎么选?Kronos 模型家族选型实测

引言:选型不是拍脑袋,而是工程决策

Kronos 是首个面向金融 K 线(OHLCV)序列的开源基础模型,采用"专用分词器 + 自回归 Transformer"的两段式架构,在 45 个全球交易所的数据上预训练,并已被 AAAI 2026 接收。模型家族在 Hugging Face 上公开了 mini、small、base 三档权重,社区围绕它的部署文章(配置环境、WebUI 预测、Qlib 微调、回测全流程)已经相当密集,但多数教程只演示"默认加载 Kronos-small 或 Kronos-base",很少正面回答一个实际问题:三档之间差在哪里、我的硬件该用哪一档、换了档位预测结果会有什么变化?

这篇文章从仓库源码出发,把三档规格逐一拆开,落到上下文窗口、分词器、归一化与推理管线这些真实实现上,再结合仓库自带的回归测试数据,给出可复现的选型方法。选型结论由源码和数字驱动,不做玄学。

三档规格:参数、上下文与分词器的真实差异

先看 README 中的 Model Zoo 表格(README.md),这是最权威的一手资料:

模型 Tokenizer Context length Params 是否开源
Kronos-mini Kronos-Tokenizer-2k 2048 4.1M ✅
Kronos-small Kronos-Tokenizer-base 512 24.7M ✅
Kronos-base Kronos-Tokenizer-base 512 102.3M ✅
Kronos-large Kronos-Tokenizer-base 512 499.2M ❌

三个公开档位的参数量跨度是 25 倍(4.1M → 102.3M),但真正的结构性差异不止于参数。注意两点:

  1. 上下文窗口:mini 独享 2048,small/base 都是 512。这是 README 里反复强调的约束——Kronos-small 和 Kronos-base 的 max_context 上限是 512,超出会自动截断。
  2. 分词器不同:mini 使用 Kronos-Tokenizer-2k,small/base 使用 Kronos-Tokenizer-base。在 model/kronos.py 中可以看到,分词器通过 BSQuantizer(Binary Spherical Quantizer)把连续 OHLCV 离散成 s1/s2 两层 token,s1_vocab_size = 2 ** s1_bits,词表大小由量化位数决定。mini 的"2k"字面含义正是其更大的量化词表空间。

WebUI 侧同样维护了这份规格表,见 webui/app.py 的 AVAILABLE_MODELS 字典,三档的模型 ID、tokenizer ID、上下文长度和参数量与 README 完全一致,并各配了一句定位描述:mini——"轻量、适合快速预测",small——"性能与速度均衡",base——"预测质量更好"。这基本就是官方的选型口径。

算力约束:25 倍参数差距落到部署上是怎样的

参数量差异直接决定显存与内存占用。base 的 102.3M 参数在 FP32 下约 400MB,small 约 100MB,mini 约 16MB。对只有集成显卡或纯 CPU 的环境,mini 与 small 是现实选项;而 base 在 CPU 上虽然能跑(仓库示例 prediction_cn_markets_day.py 就默认 DEVICE = "cpu"),但批量化推理会明显吃力。

推理管线本身对算力也很敏感。看 model/kronos.py 的 auto_regressive_inference:预测阶段是逐 token 自回归——先 tokenizer.encode(x, half=True) 把历史 K 线编码成 token,然后循环 pred_len 步,每步先 decode_s1 采样 s1 token,再 decode_s2 采样 s2 token,最后统一 tokenizer.decode 还原价格。窗口超过 max_context 后,用 pre_buffer.copy_(torch.roll(...)) 做环形滑动窗口滚动。这意味着:

  • 推理耗时 ≈ 预测步数 × 单步前向耗时,与模型参数和上下文长度正相关;
  • sample_count 参数会把每条序列复制成 N 份并行采样(x.unsqueeze(1).repeat(1, sample_count, ...)),最后 np.mean(preds, axis=1) 取均值。社区文章提到的"千股 8 分钟批量预测"能力,靠的就是 predict_batch 的 GPU 并行 + 采样平均,但 batch 里每一条序列都要占一份显存,模型越大可并行条数越少。

所以三档选型的第一个原则很朴素:GPU 显存有限、需要高并发批量推理,就向下选;追求单序列质量、吞吐要求不高,就向上选。

上下文窗口选型:2048 与 512 分别服务什么周期

mini 的 2048 上下文是三档里唯一的"长上下文"选项。理解它的价值要回到 K 线语言的粒度问题:Kronos 的 token 由 s1(粗粒度)和 s2(细粒度)两层构成,一个时间步消耗的上下文长度取决于时间周期。

  • 对 5 分钟 K 线,512 步只覆盖约 1.8 个交易日的密集数据,2048 步则覆盖一周以上的高频形态;
  • 对日线,512 步约等于两年的交易日数量,2048 步可覆盖四年,但日线序列本身信息密度低,长窗口未必带来等比例的增益。

仓库的 CSV 微调示例(finetune_csv/configs/config_ali09988_candle-5min.yaml)给出了一个 5 分钟 K 线的标准配置:lookback_window: 512、predict_window: 48、max_context: 512,即"512 根 5 分钟 K 线回看,预测未来 48 根"。这正是 small/base 上 512 窗口的典型用法。而 Qlib 微调示例(finetune/config.py)针对日线频率把回看窗口压到了 lookback_window = 90、predict_window = 10——窗口长度按周期动态调整,而不是盲目填满 512。

从这一点可以提炼出第二条原则:高频数据(分钟级)优先用 mini 的 2048 长窗口获取足够形态上下文;中低频数据(日线/周线)512 足够,可以在 small/base 之间按算力选。

实测:上下文长度如何影响预测误差

官方并未给出三档在同一数据集上的直接对比基准,但这不代表无法实测。仓库自带了一套可复现的回归测试管线(tests/test_kronos_regression.py),使用 NeoQuasar/Kronos-small 与固定 revision 的 tokenizer,在同一份 tests/data/regression_input.csv 上分别用 512 与 256 两种上下文长度预测 30 步,并锁定了期望 MSE:

上下文长度 平均 MSE(仓库回归基准)
512 0.008979
256 0.003741

这是一个容易被误读、但极其有价值的结果:在同样的模型、同样的数据、同样的采样参数(T=1.0, top_k=1, top_p=1.0, sample_count=1)下,256 上下文的 MSE 反而低于 512 上下文。它说明两件事:

  1. 上下文窗口并非越大越好——对于该测试数据的信号周期,256 步窗口内的信息已足够充分,更长的窗口反而引入了更多噪声(这正呼应 Kronos 面向金融高噪声数据的设计动机);
  2. "更大参数 + 更长上下文 = 更准"是线性直觉,不是线性事实。选型必须针对自己的标的与周期做实测,而不是按规格表想当然。

这也直接回答了"换档位会怎样":档位变化同时改变参数量与可用上下文(mini 2048 vs small/base 512),两者对误差的影响方向可能相反。想在自己的数据上验证,最轻量的方式是 WebUI——webui/README.md 明确说明界面支持三档模型切换,固定"400 历史 + 120 预测"时间窗,同一个标的换三档各跑一遍,比对 prediction_results 目录下 JSON 的 analysis.continuity(预测与真实值的 gap 百分比),即可获得三档在同等条件下的第一手对比。

不同场景的选型建议:一张决策清单

综合规格表、推理实现与回归数据,可以给出如下决策框架:

Kronos-mini(4.1M,ctx 2048)

  • 适用:CPU/低显存环境、高频分钟级数据需要长形态上下文、批量并发推理(千股级)、WebUI 快速试算。
  • 代价:参数量小,复杂市场形态的拟合上限低于 base;2048 上下文会放大单步前向的序列计算量,CPU 上长窗口未必省时间。

Kronos-small(24.7M,ctx 512)

  • 适用:单卡 GPU 的日常研究与策略迭代,日线/周线等中低频周期,作为微调起点(finetune/config.py 的 pretrained_predictor_path 默认就是 Kronos-small)。
  • 代价:512 上下文约束下,分钟级高频数据需要配合滑动窗口或缩短回看,见 auto_regressive_inference 的滚动 buffer 逻辑。

Kronos-base(102.3M,ctx 512)

无论选哪一档,都要留意 model/kronos.py 中 KronosPredictor 的预处理契约:输入必须是 ['open','high','low','close'] 至少四列,缺失 volume/amount 会被自动补零或由 close×volume 估算;内部先做 (x - mean) / (std + 1e-5) 标准化并 clip 到 ±5,预测后再反归一化。同一批数据换档测试时,这些步骤对所有档位完全一致,因此对比结果是公平的。

结语

Kronos 三档模型的选择,本质是在参数量、上下文长度、tokenizer 粒度与部署资源之间做权衡:mini 以 4.1M 参数换取 2048 长上下文和轻量部署,small/base 则以更大的模型换取 512 窗口下的更高拟合能力,代价是显存与吞吐。仓库的回归测试已经证明,上下文长度与误差之间不是单调关系,更遑论参数规模与预测质量之间的简单对应——任何选型结论都应建立在"自己的数据 + 自己的硬件 + 同一套评测口径"的实测之上。把三档跑一遍,看误差、看耗时、看显存,答案自然会从数据里浮现出来。

登录后查看全文
Kronos