262K超长上下文实测:Raon-1 mini如何处理十万级token长文本?

原创2026-10-25 12:41:111,814 阅读
文章标签:人工智能大模型基础模型模型量化

262K超长上下文实测:Raon-1 mini如何处理十万级token长文本?

Raon-1 mini 是 KRAFTON AI 从零训练的 30B-A4B 混合专家(MoE)语言模型,原生支持 262,144 token(约262K)超长上下文,可以在单卡消费级 GPU 上处理整本手册、超大代码库或数小时会议记录级别的长文本,并遵循 Apache 2.0 开源协议。本文带你用通俗的方式拆解:它是如何"装得下"十万级 token 的,以及实际跑起来要调哪些参数。

为什么 262K 超长上下文对新手重要?

普通模型常用 8K~32K 的上下文窗口,塞不下一页 PDF 全文,更别提整个项目的源码。Raon-1 mini 的 262K 窗口意味着:

  • 📄 一整份技术白皮书、财报或论文可以直接丢进去问答,不用手动切分
  • 💻 一个中型代码仓库的核心文件可以整体放入上下文做跨文件分析
  • 💬 多轮 Agent 工作流(工具调用 + 结果回传)不会很快撑爆窗口

注:262,144 这个上限在 config.json 中由 max_position_embeddings 字段明确声明,推理框架(vLLM、llama.cpp)默认按此值配置。

262K 长文本背后的核心设计

长上下文难做的根本原因是:注意力机制的 KV 缓存会随 token 数线性膨胀。Raon-1 mini 用三套机制同时化解了"内存"和"速度"两个问题。

混合注意力:18 层线性注意力 + 7 层全注意力

Raon-1 mini 共 25 层,其中 18 层使用 Raon Delta Attention(RDA)线性注意力,仅 7 层使用全注意力(Gated MLA)。

  • RDA 层:维护的是固定大小的隐状态,无论上下文是 2K 还是 262K,占用的内存不变,也不产生 KV 缓存
  • MLA 层:只有这 7 层保留 KV 缓存,官方称每 token 约 8 KiB(BF16 精度)

换句话说,超长文本的内存大头被线性注意力"摊平"了,这正是它敢标称 262K 的原因。官方还提到 RDA 将 Kimi Delta Attention 的擦除门与写入门解耦,相比 KDA 进一步提升了长文本表现。具体分层编号可在 configuration_raon1_mini.py 的 rda_layers / mla_layers 列表中查到。

无位置编码(NoPE)

配置中 rope_parameters 为 null,即模型不使用传统位置编码。配合线性注意力的隐状态机制,位置信息以另一种方式融入,让长距离序列外推更稳定——这也是近年多家模型(如 Qwen3-Next 等混合架构)的共性趋势。

稀疏 MoE:28.8B 总参数,每 token 只激活 4.3B

项目 数值
总参数 28.8B
每 token 激活参数 4.3B
专家数 128 个路由专家 + 1 个共享专家
每 token 激活 6 路由 + 1 共享

每个 token 只"点亮"约 7/129 的专家,推理计算量接近一个小模型,配合低内存的注意力设计,长文本推理才真正"跑得起"。

长文本实测成绩如何?

官方基准(来自 README.md 的 Benchmark 部分)中长上下文(Long context)类别成绩如下:

基准 Raon-1 mini 说明
AA-LCR 67.3 在 MoE 对比组(Qwen3.6-35B-A3B: 69.3、Gemma 4 26B-A4B: 67.0)中处于第一梯队
GDP.pdf 5.8 长文档理解任务,超过 Gemma 4 26B-A4B 的 3.6,MoE 组最高

另外它的指令跟随(IFBench 84.2)和多轮对话(MultiChallenge 59.0)在对比模型中也位居前列——这对"长对话不丢上下文"的体感非常关键:窗口大只是一方面,读得进、记得住、跟得住才算完整。

本地部署:262K 上下文怎么开?

推荐采样参数(官方口径)

参数 通用对话/摘要 编码/数学
temperature 1.0 1.0
top_p 0.95 0.95
top_k 20 20
presence_penalty 1.5 0
repetition_penalty 1.0 1.0

官方强调:模型为思考(thinking)模式设计,不建议关闭推理,且多轮对话时建议 truncate_history_thinking=false,保留历史思考链有助于长会话表现。

vLLM:一行参数开满 262K

vllm serve KRAFTON/Raon-1-mini-preview \
    --max-model-len 262144 \
    --kv-cache-dtype fp8_e4m3 \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.85

--max-model-len 262144 即为上下文窗口;fp8_e4m3 的 KV 缓存可再省一半显存。完整参考命令(含 DFlash2 投机解码、工具调用解析器等)见 README.md 的 Quickstart 部分。

llama.cpp / 单卡显卡:量力而行

  • 消费级 32GB 显卡(如 RTX 5090)官方给出的是 NVFP4 量化 + 32K 窗口的配置;262K 满窗口需要更高显存(或 CPU offload)
  • llama.cpp 用户通过 --ctx-size 262144 设定窗口,GGUF 权重按需下载
  • ⚡ 想更快?官方提供 DFlash2 草稿模型做投机解码,B300 上输出吞吐最高提升 2.18 倍

量化选项:MXFP8 与 NVFP4 两种格式,NVFP4 是单卡 32GB 的"门票"。

长文本使用技巧清单

  1. 整文档问答:直接把全文放入 user 消息,配合 thinking 模式,让模型先推理再作答
  2. 多轮 Agent:工具调用格式定义在 chat_template.jinja,支持 Hermes Agent、Pi、OpenCode 等框架直连
  3. 保留思考链:多轮对话设置 truncate_history_thinking=false,避免上下文"失忆"
  4. 显存紧张时:优先上 KV 缓存量化(fp8)与 MXFP8/NVFP4 权重,而不是先砍窗口
  5. 多语言:模型训练覆盖韩、英、日、中、西、法、泰 7 种语言,中文长文档处理无需额外适配

相关资源一览

文件 作用
README.md 模型介绍、基准成绩、各框架部署教程
config.json 262K 上下文、MoE、注意力结构等全部架构参数
generation_config.json 官方默认生成参数
configuration_raon1_mini.py 架构配置源码(RDA/MLA 分层定义)
modeling_raon1_mini.py 模型推理实现源码
chat_template.jinja 对话模板(思考模式、工具调用协议)
LICENSE Apache 2.0 开源协议

小结:Raon-1 mini 用"线性注意力压内存 + MoE 压算力 + 无位置编码稳外推"的组合拳,把 262K 上下文从旗舰模型的专属能力变成了单机可玩的功能。长文档总结、大型代码库理解、多轮 Agent 任务——十万级 token 场景,它都能接住。

登录后查看全文
Raon-1-mini-preview