262K超长上下文实测:Raon-1 mini如何处理十万级token长文本?
262K超长上下文实测:Raon-1 mini如何处理十万级token长文本?
Raon-1 mini 是 KRAFTON AI 从零训练的 30B-A4B 混合专家(MoE)语言模型,原生支持 262,144 token(约262K)超长上下文,可以在单卡消费级 GPU 上处理整本手册、超大代码库或数小时会议记录级别的长文本,并遵循 Apache 2.0 开源协议。本文带你用通俗的方式拆解:它是如何"装得下"十万级 token 的,以及实际跑起来要调哪些参数。
为什么 262K 超长上下文对新手重要?
普通模型常用 8K~32K 的上下文窗口,塞不下一页 PDF 全文,更别提整个项目的源码。Raon-1 mini 的 262K 窗口意味着:
- 📄 一整份技术白皮书、财报或论文可以直接丢进去问答,不用手动切分
- 💻 一个中型代码仓库的核心文件可以整体放入上下文做跨文件分析
- 💬 多轮 Agent 工作流(工具调用 + 结果回传)不会很快撑爆窗口
注:262,144 这个上限在 config.json 中由
max_position_embeddings字段明确声明,推理框架(vLLM、llama.cpp)默认按此值配置。
262K 长文本背后的核心设计
长上下文难做的根本原因是:注意力机制的 KV 缓存会随 token 数线性膨胀。Raon-1 mini 用三套机制同时化解了"内存"和"速度"两个问题。
混合注意力:18 层线性注意力 + 7 层全注意力
Raon-1 mini 共 25 层,其中 18 层使用 Raon Delta Attention(RDA)线性注意力,仅 7 层使用全注意力(Gated MLA)。
- RDA 层:维护的是固定大小的隐状态,无论上下文是 2K 还是 262K,占用的内存不变,也不产生 KV 缓存
- MLA 层:只有这 7 层保留 KV 缓存,官方称每 token 约 8 KiB(BF16 精度)
换句话说,超长文本的内存大头被线性注意力"摊平"了,这正是它敢标称 262K 的原因。官方还提到 RDA 将 Kimi Delta Attention 的擦除门与写入门解耦,相比 KDA 进一步提升了长文本表现。具体分层编号可在 configuration_raon1_mini.py 的 rda_layers / mla_layers 列表中查到。
无位置编码(NoPE)
配置中 rope_parameters 为 null,即模型不使用传统位置编码。配合线性注意力的隐状态机制,位置信息以另一种方式融入,让长距离序列外推更稳定——这也是近年多家模型(如 Qwen3-Next 等混合架构)的共性趋势。
稀疏 MoE:28.8B 总参数,每 token 只激活 4.3B
| 项目 | 数值 |
|---|---|
| 总参数 | 28.8B |
| 每 token 激活参数 | 4.3B |
| 专家数 | 128 个路由专家 + 1 个共享专家 |
| 每 token 激活 | 6 路由 + 1 共享 |
每个 token 只"点亮"约 7/129 的专家,推理计算量接近一个小模型,配合低内存的注意力设计,长文本推理才真正"跑得起"。
长文本实测成绩如何?
官方基准(来自 README.md 的 Benchmark 部分)中长上下文(Long context)类别成绩如下:
| 基准 | Raon-1 mini | 说明 |
|---|---|---|
| AA-LCR | 67.3 | 在 MoE 对比组(Qwen3.6-35B-A3B: 69.3、Gemma 4 26B-A4B: 67.0)中处于第一梯队 |
| GDP.pdf | 5.8 | 长文档理解任务,超过 Gemma 4 26B-A4B 的 3.6,MoE 组最高 |
另外它的指令跟随(IFBench 84.2)和多轮对话(MultiChallenge 59.0)在对比模型中也位居前列——这对"长对话不丢上下文"的体感非常关键:窗口大只是一方面,读得进、记得住、跟得住才算完整。
本地部署:262K 上下文怎么开?
推荐采样参数(官方口径)
| 参数 | 通用对话/摘要 | 编码/数学 |
|---|---|---|
| temperature | 1.0 | 1.0 |
| top_p | 0.95 | 0.95 |
| top_k | 20 | 20 |
| presence_penalty | 1.5 | 0 |
| repetition_penalty | 1.0 | 1.0 |
官方强调:模型为思考(thinking)模式设计,不建议关闭推理,且多轮对话时建议 truncate_history_thinking=false,保留历史思考链有助于长会话表现。
vLLM:一行参数开满 262K
vllm serve KRAFTON/Raon-1-mini-preview \
--max-model-len 262144 \
--kv-cache-dtype fp8_e4m3 \
--enable-prefix-caching \
--gpu-memory-utilization 0.85
--max-model-len 262144 即为上下文窗口;fp8_e4m3 的 KV 缓存可再省一半显存。完整参考命令(含 DFlash2 投机解码、工具调用解析器等)见 README.md 的 Quickstart 部分。
llama.cpp / 单卡显卡:量力而行
- 消费级 32GB 显卡(如 RTX 5090)官方给出的是 NVFP4 量化 + 32K 窗口的配置;262K 满窗口需要更高显存(或 CPU offload)
- llama.cpp 用户通过
--ctx-size 262144设定窗口,GGUF 权重按需下载 - ⚡ 想更快?官方提供 DFlash2 草稿模型做投机解码,B300 上输出吞吐最高提升 2.18 倍
量化选项:MXFP8 与 NVFP4 两种格式,NVFP4 是单卡 32GB 的"门票"。
长文本使用技巧清单
- 整文档问答:直接把全文放入 user 消息,配合 thinking 模式,让模型先推理再作答
- 多轮 Agent:工具调用格式定义在 chat_template.jinja,支持 Hermes Agent、Pi、OpenCode 等框架直连
- 保留思考链:多轮对话设置
truncate_history_thinking=false,避免上下文"失忆" - 显存紧张时:优先上 KV 缓存量化(fp8)与 MXFP8/NVFP4 权重,而不是先砍窗口
- 多语言:模型训练覆盖韩、英、日、中、西、法、泰 7 种语言,中文长文档处理无需额外适配
相关资源一览
| 文件 | 作用 |
|---|---|
| README.md | 模型介绍、基准成绩、各框架部署教程 |
| config.json | 262K 上下文、MoE、注意力结构等全部架构参数 |
| generation_config.json | 官方默认生成参数 |
| configuration_raon1_mini.py | 架构配置源码(RDA/MLA 分层定义) |
| modeling_raon1_mini.py | 模型推理实现源码 |
| chat_template.jinja | 对话模板(思考模式、工具调用协议) |
| LICENSE | Apache 2.0 开源协议 |
小结:Raon-1 mini 用"线性注意力压内存 + MoE 压算力 + 无位置编码稳外推"的组合拳,把 262K 上下文从旗舰模型的专属能力变成了单机可玩的功能。长文档总结、大型代码库理解、多轮 Agent 任务——十万级 token 场景,它都能接住。