vLLM Semantic Router v0.2 Athena 发布深度解析:ClawOS 编排、模型栈全面刷新与"系统大脑"战略转向
vLLM Semantic Router v0.2 Athena 发布深度解析:ClawOS 编排、模型栈全面刷新与"系统大脑"战略转向
导读:本文围绕 vLLM Semantic Router v0.2 Athena 版本发布展开,系统讲解本次迭代从模型栈、运行时加速、模型选择原语、内存/RAG/响应状态、信号引擎、NLP 提示压缩、DSL 语言化、零配置安装、Dashboard 系统大脑到 AMD ROCm 部署路径的十大核心变化,并结合仓库源码(如
src/semantic-router/pkg/modelselection、pkg/promptcompression、pkg/vectorstore等)逐项印证实现细节。读完本文,你将完整掌握 Athena 的技术骨架:为什么模型刷新是"地基级"变更、模型选择如何在决策匹配之后生效、ClawOS 实验性编排层的定位,以及vllm-sr serve与--platform amd的实操用法。
为什么叫 Athena?
在希腊神话中,Athena(雅典娜)象征智慧、战略与严谨的技艺,这个意象与 v0.2 的定位高度吻合。自 v0.1 Iris 以来,vLLM Semantic Router 在短短一个发布周期内完成了大规模跃迁:重建模型栈、把路由扩展到安全(safety)、语义缓存、记忆(memory)、检索与长上下文信号处理,并开始向一个更大的目标推进——让语义路由成为混合模型(Mixture-of-Models, MoM)与多智能体(multi-agent)部署的系统大脑。
Athena 正是这一转变变得可见的版本:v0.2 交付了完整的模型刷新与更强大的路由运行时,其中最受关注的新赌注是 ClawOS——一个实验性的操作系统层,让 Semantic Router 可以通过路由、记忆、安全与聊天驱动的团队管理来编排多个 OpenClaw 系统。如果说 Iris 建立了用户与模型之间的"桥梁",那么 Athena 则开始把这座桥梁变成面向"模型团队"的操作面。
v0.2 Athena 十大核心变更
1. 完整模型刷新:重建 MoM 的地基
Athena 最具深远影响的变更不在 UI 之下、也不在路由 DSL 之下,而是模型栈被整体重建。
Athena 以新的长上下文多语言基础模型 mmbert-embed-32k-2d-matryoshka 为中心,并配以归入 mom-multilingual-class 的新分类器家族。这意味着路由器的 embedding、意图(intent)、越狱(jailbreak)、PII、反馈(feedback)、事实核查(fact-check)等分类器面,都迁移到共享的 mmBERT 衍生基础之上,而不是继续依赖碎片化的基座模型故事。更重要的是,这一刷新后的家族与 ONNX + Flash Attention 加速路径保持对齐。
Athena 还引入了 multi-modal-embed-small,一个独立的 embedding 模型,把文本、图像与音频放入同一个 384 维共享空间。它专为真正的跨模态检索设计:系统可以用文本搜图像、用文本描述找音频,并在三种模态间对齐内容。它的部署故事同样简单:可以仅用 transformers 与 torch 加载,无需自定义运行时依赖。
这一新模型层带来三项立即可感知的变化:
- Multi-Modal Embed Small:约 1.2 亿参数(~120M),共享 384 维空间,具备较强的图像-文本对齐能力、2D Matryoshka 控制、亚 100ms 推理目标,以及报告中的 Audio-Text Retrieval R@1 = 36.4%;
- mmBERT-Embed-32K-2D-Matryoshka:生产级多语言长上下文骨干——32K 上下文、1800+ 语言、3.07 亿参数、STS 80.5、768d → 256d 截断并保持约 99% 质量,以及 22L → 6L 早期退出带来约 3.3 倍加速;
- mom-multilingual-class 集合:把这些骨干整合成一致的分类器家族,使长上下文多语言路由与安全任务可以共享相同的基座模型假设与相同的 ONNX 加速路径。
截至本版本发布,mom-multilingual-class 集合覆盖五个核心路由与安全任务,每个任务同时提供 merged(合并) 与 LoRA 两种形态:
| 任务 | Merged 模型 | LoRA 模型 |
|---|---|---|
| Intent(意图) | mmbert32k-intent-classifier-merged |
mmbert32k-intent-classifier-lora |
| Jailbreak(越狱检测) | mmbert32k-jailbreak-detector-merged |
mmbert32k-jailbreak-detector-lora |
| PII(敏感信息检测) | mmbert32k-pii-detector-merged |
mmbert32k-pii-detector-lora |
| Fact-check(事实核查) | mmbert32k-factcheck-classifier-merged |
mmbert32k-factcheck-classifier-lora |
| Feedback(反馈检测) | mmbert32k-feedback-detector-merged |
mmbert32k-feedback-detector-lora |
分类器集合只是刷新的一部分。Athena 还把它与新的 embedding 骨干、新的多模态 embedding 模型以及更强的生产加速路径配对。更高层面的模型刷新总结如下:
| 新基础 | Athena 改变了什么 |
|---|---|
multi-modal-embed-small |
文本-图像-音频统一到同一个 384 维语义空间 |
mmbert-embed-32k-2d-matryoshka |
32K 上下文、1800+ 语言、2D Matryoshka 运行时控制 |
| ONNX + CK Flash Attention | 刷新后的模型栈在生产中变得实质更快,而不只是纸面更新 |
模型刷新同时也是运行时刷新。ONNX 路径、ROCm 支持与 CK Flash Attention 工作把新地基变成了可部署的延迟故事。
在 AMD Instinct MI300X 上、以真实路由路径 Envoy (:8801) -> ext_proc -> SR (:50051) 进行的三方基准测试中,端到端延迟画像发生了显著变化:
| 请求规模 | ONNX + GPU 平均 | ONNX + CPU 平均 | Candle + CPU 平均 |
|---|---|---|---|
| ~500 tokens | 22 ms | 853 ms | 1053 ms |
| ~2000 tokens | 31 ms | 1814 ms | 1805 ms |
| ~8000 tokens | 128 ms | 4796 ms | 1830 ms |
在信号级层面收益更清晰。以 domain extraction 为例,ONNX+GPU 在约 500/2000/8000 tokens 上分别运行于 10.2 / 16.3 / 36.1 ms,而 ONNX+CPU 为 630.4 / 833.3 / 743.9 ms、Candle+CPU 为 849.0 / 1304.9 / 1311.5 ms。以 PII extraction 为例,ONNX+GPU 在同长度下达到 8.4 / 19.0 / 118.8 ms,而 ONNX+CPU 为 729.5 / 1781.8 / 4783.9 ms、Candle+CPU 为 854.2 / 1299.8 / 1327.8 ms。
Flash Attention 的故事同样关键。在 MI300X 上并发加载三个分类器时,旧的 SDPA 路径撞上内存墙,而新的 CK Flash Attention 路径持续扩展:
| 序列长度 | SDPA | CK Flash Attention | 结果 |
|---|---|---|---|
| 4096 | 167 ms | 51 ms | 3.3 倍加速 |
| 8192 | OOM | 105 ms | SDPA 失败,FA 正常 |
| 16384 | OOM | 259 ms | FA 可在 16K 工作 |
| 32768 | OOM | 756 ms | FA 达到完整 32K |
FA 的支持方式尤为特别。在 onnx-binding/ort-ck-flash-attn 下,Athena 增加了一个独立的 ONNX Runtime 自定义算子库,在 ROCm 上注册 com.ck::CKFlashAttention,直接调用 AMD Composable Kernel 的 tiled FMHA 内核;随后通过图重写(graph-rewrite)步骤逐层改写 mmBERT ONNX 图,把稠密的 SDPA attention 子图替换为单个 CK Flash Attention 节点。相比物化稠密的 [1, 1, S, S] attention mask,重写后的图从 attention_mask 推导出轻量的 [B, 1, 1, S] padding bias,并把 sliding-window 设置直接传入内核:local-attention 层使用 CK 内置窗口参数,global-attention 层切回无限窗口的 full attention。换言之,Athena 的 FA 路径不是简单的后端开关,而是模型感知的 ONNX 重写 + 面向长上下文 mmBERT 推理专门构建的自定义 ROCm 内核路径。
在更高负载下,CK Flash Attention 仍可完成 20 个并发 32K-token 请求,达到 9872 ms 中位数 / 14862 ms p95,零 OOM,并在验证查询上保持完全一致的分类结果。这正是模型刷新被置于发布首位的理由:Athena 不只是围绕路由器添加特性,而是改变了其底层的计算基础。
2. 模型选择成为一等路由原语
Athena 的最大跃迁在于:模型选择不再是路线图项目,而是系统的具体组成部分,同时覆盖可训练的 ML 选择器与高级运行时选择策略。
更关键的是,Athena 明确了模型选择在路由流水线中的位置:模型选择不会替代信号提取或决策匹配。系统先提取信号,再评估决策,只有在决策匹配之后,per-decision 算法才会在该决策的 modelRefs 中做选择。也就是说,模型选择成为"这个请求属于这条决策"与"该由哪个具体模型来服务"之间的最后一步战略决策。
这一设计在仓库源码中有清晰印证。modelselection 包说明 明确写道:"一个 selector 只在某条路由决策匹配之后运行,并从该决策的 modelRefs 中挑选一个模型",其工作流程为:① 路由器评估信号并匹配决策 → ② 对请求做 embedding 并追加检测到的 domain one-hot 特征 → ③ 配置的 selector 加载训练产物并为该决策的候选模型打分 → ④ 被选中的模型名必须匹配某个候选 modelRef,否则请求失败而不是静默换成别的模型。仓库中还存在大量可选策略的实现文件,如 selection 包 下的 automix.go、elo.go、gmtrouter.go、hybrid.go、latency_aware.go、router_dc.go、router_r1_client.go、static.go、multi_factor.go 等。
Athena 提供的模型选择方法族如下:
| 家族 | 方法 | 作用 |
|---|---|---|
| ML-based | KNN | 查找相似历史查询,让邻近样本投票选出最佳模型 |
| ML-based | KMeans | 对请求聚类,按簇级质量与效率模式分配模型 |
| ML-based | SVM | 用 RBF 分类器学习模型偏好之间的非线性决策边界 |
| ML-based | MLP | 用神经网络路由器从 embedding 预测最佳模型,经 Candle 高效推理 |
| Advanced | Static | 当可预测性比适应性更重要时,使用固定默认模型 |
| Advanced | Latency-Aware | 当延迟预算占主导时,从 TPOT 与 TTFT 百分位数据中选择最快候选 |
| Advanced | Elo | 通过用户反馈与两两偏好,使用 Bradley-Terry 风格评分更新学习 |
| Advanced | RouterDC | 用双对比 embedding 相似度把查询与模型描述匹配 |
| Advanced | AutoMix | 从更便宜的模型起步,基于自验证升级,平衡成本与质量 |
| Advanced | Hybrid | 以可配置权重混合质量、相似度、成本等多种方法 |
| Advanced | Thompson Sampling | 在线平衡探索与利用,让路由在服务生产流量的同时持续学习 |
| Advanced | GMTRouter | 基于图路由,从多轮交互历史个性化模型选择 |
| Advanced | Router-R1 | 使用外部路由模型在选择下游模型前对请求进行推理 |
以 KNN 为例,modelselection README 给出了可直接使用的配置骨架:在 global.router.model_selection.ml 下声明 embedding_dim: 384 与 knn: { k: 5, pretrained_path: /models/selection/knn_model.json },并在决策上声明 algorithm: { type: knn }。训练产物需要放在路由器容器内可读的位置,其 embedding 维度、特征布局与模型名必须与运行时配置一致——缺失或未训练的产物在多模型决策上是错误。训练流程放在服务进程之外,由维护的 Python 流水线完成:
cd src/training/model_selection/ml_model_selection
python -m venv .venv
. .venv/bin/activate
pip install -r requirements.txt
python benchmark.py --help
python train.py --help
运行时与训练使用相同的"查询 embedding + 固定 domain one-hot 向量"特征布局,domain 顺序由 features.go 中的 VSRCategories 定义,必须与 Python 数据加载器保持一致;更换 embedding 模型或维度需要重新训练。相应单元测试可在路由器模块中运行:
cd src/semantic-router
go test ./pkg/modelselection ./pkg/selection
Athena 还补上了这些算法的操作层:ML 训练的 setup wizard 支持与配置生成、CLI 与运行时集成、指标、E2E 覆盖,以及 Dashboard 中的 Elo 反馈面,供人工在环(human-in-the-loop)打磨。
3. ClawOS:把 Semantic Router 变成 OpenClaw 的操作层
Athena 最受关注的新赌注是 ClawOS:一个实验性的操作系统层,让 Semantic Router 可以编排多个 OpenClaw 系统。仓库内的区分很直白:
- OpenClaw 是底层的智能体平台;
- ClawOS 是 Athena 在 Semantic Router 内部基于 OpenClaw 构建的编排与操作体验。
v0.2 中这一点已经是具体的而不是概念的:通过内置的 MCP 工具与房间式聊天工作流,用户可以用自然语言对话拉起不同的 OpenClaw 团队与 worker,在共享房间内实时协调它们,并从单一视图观察整个多 claw 系统的运行时状态。其目的不只是多一个 Dashboard 页面,而是探索Semantic Router 如何以路由智能、记忆、安全与团队控制全部连接在同一个表面上,去驱动多个 OpenClaw 系统。
Dashboard 重点展示了希望带入该设置的能力:
- 智能路由(Intelligent Routing):面向成本-质量权衡的模型选择;
- 安全护栏(Safety Guardrails):防范越狱、PII 泄漏与幻觉风险;
- 分层记忆存储(Hierarchical Memory Storage):支撑长视野、多步执行;
- 跨智能体知识共享(Knowledge Sharing);
- 隔离与团队管理(Isolation & Team Management):在同一个共享编排层中运营多智能体。
Athena 交付了让这一实验变得具体的第一批产品面:
- 自然语言 MCP 控制:用户可直接通过聊天拉起与管理不同的 OpenClaw 团队与 worker;
- 团队支持:明确的 leader-and-worker 组成结构;
- 共享房间聊天:团队在同一房间内实时对话、协调与执行;
- leader-worker 协作:leader claw 可把 worker claw 作为整体操作单元进行协调;
- 从 Dashboard 直接供给 worker(worker provisioning);
- 运行时健康、团队组成与状态视图;
- 只读房间聊天:用于更安全的演示与公开测试版式部署;
- 共享运行时支持:Claw worker 可与路由器共存于同一操作环境。
ClawOS 之所以重要,不在于它是一个完成品平台,而在于它是一个早期的、实验性的回答:当语义路由不再只是选择模型,而是基于 OpenClaw 驱动一整个多智能体操作层时,会发生什么?
4. 内存、RAG 与响应状态进入核心运行时
Athena 把**状态(state)**从旁路特性变成了核心关注点。
记忆侧,本版本新增 基于 Milvus 存储的 Agentic Memory、混合记忆搜索(hybrid memory search)、记忆评分(memory scoring)、Llama Stack 向量后端,以及用于监控与告警的记忆指标(memory metrics)。仓库中可看到对应的 memory 包 下的 milvus_store.go、milvus_filter.go、caching_store.go、metrics.go 等实现。响应侧,Athena 深化 OpenAI Responses API 支持,加入 Redis 持久化、对话链(conversation chaining)覆盖与更强的集成测试。调试侧,Athena 引入 Router Replay,具备可插拔存储后端、per-decision 隔离与 Dashboard 可视化(见 routerreplay 包)。
其中的 混合搜索(hybrid search) 工作尤其值得单独强调。Athena 把检索从纯向量查询变成融合检索问题:在向量存储与记忆栈中,路由器现在可以组合 向量相似度、BM25 与 n-gram 文本匹配,并支持**加权融合(weighted fusion)**与 RRF。内存后端可以原生运行混合搜索,而 Milvus 风格后端可以采用"更宽的候选拉取 + 在向量结果之上做混合重排"。这一点在源码中有直接体现:vectorstore 包 下的 hybrid.go 与 hybrid_test.go 正是混合搜索的核心实现。
这与 BM25 和 n-gram 出现在信号层的理由一致:检索变得更不脆弱。语义相似度仍是骨干,但精确词项、稀疏相关性与容忍拼写错误的匹配现在都能影响最终排序。Athena 还把它带进了端到端 RAG 覆盖,包括加权混合搜索、RRF 模式,以及向量存储测试路径中可调的 BM25 / n-gram 参数。
与此同时,记忆层变得更可信:
- MINJA 防御:降低记忆注入攻击(memory injection attacks);
- 响应级越狱门控:在记忆存储之前先做越狱检查;
- 跨模型缓存共享与更优的缓存更新路径;
- Demand RAG 与面向向量存储的摄取工作流。
Athena 把路由从一个无状态决策点,变成一个可以记忆、检索、验证与回放(replay)的系统。
5. 信号更丰富、更快、更安全
Iris 引入了 Signal-Decision 架构,Athena 则显著扩展了它。信号层在三个方向上变宽:更懂请求本身、支持更多确定性与语义匹配路径、并把更多智能以**可复用的命名信号(named signals)**暴露在路由系统内部。
| 信号面 | Athena 新增内容 | 为什么重要 |
|---|---|---|
| 核心请求理解 | 语言(language)、延迟(latency)、**上下文(context)与复杂度感知(complexity-aware)**信号,含 few-shot 复杂度变体 | 路由器评估决策时能推理的不只是主题 |
| 控制与路由上下文 | **模态(modality)**与 authz 信号 | 路由可在流水线更早阶段基于媒体意图与访问约束做分支 |
| 反馈回路 | **反馈(feedback)与偏好(preference)**分类器 | 用户侧信号成为一等路由输入,而非旁路元数据 |
| 语义匹配路径 | 多模态 embedding 支持、软 embedding 规则与 HNSW 加速 | 语义匹配更宽更快,尤其当检索面增长时 |
| 确定性快速路径 | 用于关键词路由的 BM25、n-gram 模糊匹配与 regex | 可审计的规则路径保持可解释,但在真实流量中不再脆弱 |
| 运行时置信层 | 跨信号评估的动态置信度打分 | 决策可以使用更丰富的信号质量,而不只是二元匹配 |
安全也更贴近主信号路径,而非停留在插件式后处理的侧翼:
| 安全面 | Athena 新增内容 | 为什么重要 |
|---|---|---|
| 越狱检测 | 提升为并行信号,同时具备基于分类器与**对比式多轮(contrastive multi-turn)**检测 | 既能抓住明显的单轮攻击,也能抓住会话中的渐进式升级 |
| PII 检测 | 并行信号处理,外加扩展的策略与 reveal 控制 | 敏感数据处理进入同一套路由与强制层 |
| 工具安全 | 面向工具过滤的置信度门控重排(confidence-gated reranking) | 工具感知工作流保持选择性,无需硬编码每个边界情况 |
| 幻觉处理 | 更灵活的多级别响应处理 | 系统可以更细腻地警告、标注或暴露响应风险 |
一个值得注意的细节是:关键词路由不再局限于精确字面匹配。Athena 用三种互补方法强化了关键词信号路径:
- BM25:用于较大关键词集上的主题式路由,借助自然 TF-IDF 式加权让正确的确定性规则浮现;
- n-gram 匹配:用于容忍拼写错误的路由,使近似输入仍能触发目标规则,而无需立刻退回更重的模型路径;
- regex:供团队在合规与结构化检测场景下做精确模式控制。
这升级了路由器最可解释的原语之一:快速路径保持可审计与确定性,但在真实流量中远不那么脆弱——带噪声措辞、部分重叠或拼写错误的查询,不再因为不是完美字符串匹配就错过关键词层。
Athena 不只是更宽,也更快:信号并行、更快的提取路径、更好的 embedding 查找行为,以及更强的关键词与安全路径,都帮助运行时在不牺牲可解释性的前提下扩容。
6. NLP 提示压缩成为一等长上下文原语
Athena 引入了一个新的长上下文运行时原语:信号提取前的 NLP 提示压缩。
| 压缩层 | Athena 做什么 | 为什么重要 |
|---|---|---|
| 压缩方法 | 使用 TextRank、位置加权(position weighting)、TF-IDF 与 novelty scoring | 长提示可以在不增加一次 LLM 跳转的前提下被缩减 |
| 运行时位置 | 仅为信号提取压缩文本 | 原始请求仍发往服务模型,路由优化不会重写真实用户提示 |
| 安全保持 | 让 skip_signals 把 jailbreak 与 PII 保留在原始文本上 |
敏感分类器在需要处可保持全保真检查 |
| 端到端路径 | 与 Envoy STREAMED body 模式及快速 JSON 处理配合 | 压缩路径转化为可测量的生产延迟收益,而不只是漂亮的架构图 |
仓库中的 promptcompression 包 提供了完整实现。以 compressor.go 为例,其压缩流水线组合四个有据可依的评分信号:
- TextRank(Mihalcea & Tarau, EMNLP 2004):基于 PageRank 在余弦相似度邻接矩阵上的图式句子重要性;
- 位置加权(Liu 等,"Lost in the Middle",TACL 2024):U 形注意力曲线,对提示开头与结尾的句子加权——那里是 transformer 注意力最强的区域;
- TF-IDF 信息密度(受 Selective Context 启发):含稀有、信息量大的 token 的句子得分更高,近似无需 LM 的 token 级自信息;
- Novelty scoring(反中心性):TF 向量偏离文档质心的句子得分高,能浮现离群内容(如越狱前缀、PII),无需关键词表。
句子按四项得分的加权组合排序,入选句子按原始顺序重组以保持语篇连贯。默认权重配置为:TextRank 0.20、Position 0.40、TF-IDF 0.35、Novelty 0.05,并支持 PreserveFirstN(默认 3,覆盖系统提示、越狱前缀与常见 LLM API payload 中的初始 PII)与 PreserveLastN 等保真参数。代码注释还明确标注了面向 16K+ token 大消息的 GC 优化策略:TextRank 幂迭代缓冲使用 sync.Pool、使用扁平 row-major 邻接矩阵、TF 向量预计算复用、Heaps' law 词汇量估算预分配 map、选择句子用 bitset 而非 map[int]bool 等。
与其让完整提示穿过每个信号分类器,Athena 现在可以在信号提取前用这条纯 NLP 流水线压缩长提示。压缩文本仅用于信号提取;原始提示仍原样上行到真实服务模型;需要全保真输入的信号(默认如 jailbreak 与 PII)可以通过 skip_signals 继续读取未压缩的原始文本。
这也与 Envoy STREAMED body 模式的运行时工作相连。在仓库的 MI300X buffered-vs-streamed 基准中,STREAMED 路径组合了快速 JSON 处理、半流式分块投递与提示压缩,把约 16K tokens 的端到端延迟从 143 ms 降到 103 ms;当提示为信号路径从 16K 压缩到 512 tokens 时,越狱信号提取从 127 ms 降到 10 ms。
关键点在于:这不是事后外挂的 LLM 摘要器,而是一条直接插入信号路径的确定性 NLP 流水线,让长上下文分类在成本上大幅下降,同时不模糊路由器得出决策的过程。
7. 可编程的神经符号配置语言
Athena 的另一个定义性主题是:路由策略变成一门真正的语言,而不是一堆 YAML 片段。在项目白皮书中,这被称为可编程神经符号配置语言(Programmable Neural-Symbolic Configuration Language):一种有类型的配置语言,作为路由推理引擎的指令集,把神经信号提取与符号化决策求值结合起来。
这个框架之所以重要,是因为它改变了"路由配置"的含义:不再把路由器设置当作手工编辑的基础设施 YAML,Athena 把它推向**程序综合(program synthesis)问题——给定自然语言路由规格,生成一个合法的路由程序。白皮书明确论证:该语言的功能完备性(functional completeness)**使得 LLM 编码智能体可以从自然语言规格综合路由策略。
Athena 落地了该想法的实践地基:
- 一个完整的 DSL 编译器(仓库实现见 dsl 包 下的
compiler.go、cli.go等); - 一个可视化构建器(visual builder);
- 更丰富的 Dashboard 中信号与决策 CRUD 流程;
- 配置面之间更好的收敛(convergence);
- 面向 Kubernetes 环境的更强部署期翻译路径。
这弥合了长期存在的鸿沟:
- 路由器使用的运行时配置;
- Dashboard 暴露的创作面;
- CLI 驱动的配置工作流;
- Kubernetes 环境中的部署期表示。
Athena 还包含让这条语言驱动创作回路更可靠的修复,包括改进的配置重载行为,以及部署重载后 apiserver 分类服务的刷新。
简而言之,Athena 让语义路由更易编程、检查与演化,而不只是执行。更重要的是,它让路由创作对人与编码智能体都变得可读:路由器变成了可以编译、校验、往返(round-trip),并日益交给智能体去写的东西。
8. 零配置上手改变首次运行体验
Athena 还交付了项目迄今最重要的 UX 改进之一:安装与首次运行设置现在连成一个连续流程。你不再需要从一个预定义配置开始才能把系统跑起来。
在 macOS 与 Linux 上,新的一行安装器可以几乎无需手工设置就把用户从安装带到 Dashboard:
curl -fsSL https://vllm-sr.ai/install.sh | bash
该安装器检测 Python、把 vllm-sr 安装到隔离的本地环境、把启动器写到 ~/.local/bin/vllm-sr、为本地服务准备 Docker 或 Podman(除非你选择退出),然后自动运行第一次 vllm-sr serve。可行时它还会打开 Dashboard;在远程机器上则打印访问与 SSH 隧道提示,而不是静默失败。仓库根目录的 install.sh 即为此脚本的实现,其行为可通过环境变量控制(如 VLLM_SR_INSTALL_MODE、VLLM_SR_RUNTIME、VLLM_SR_INSTALL_CHANNEL、VLLM_SR_INSTALL_AUTO_LAUNCH、VLLM_SR_INSTALL_PLATFORM 等)。
首次安装之后,或之后任何时刻用户在空目录里运行:
vllm-sr serve
Semantic Router 可以:
- 自动引导(bootstrap)一个最小工作区;
- 在后台创建
.vllm-sr/router-defaults.yaml; - 以**设置模式(setup mode)**启动 Dashboard;
- 引导用户完成首个模型设置与路由起点选择;
- 只在激活之后才写出生成的
config.yaml。
这是从 YAML-first 的上手故事到 Dashboard-first 的首次运行体验的重大转变。YAML 创作仍然面向高级用户保留,但 vllm-sr init 现在变成可选的,而不是入场券。安装器还围绕首次运行提供更干净的操作模型:用户可以选择 CLI-only 模式、跳过自动启动、固定运行时版本,或用 --platform amd 强制首次启动走 AMD 路径。
这在产品层面产生实际变化:从安装到可用路由器的最短路径变成 安装 → 自动启动 → 打开 Dashboard → 配置一个模型 → 激活。
9. Dashboard 成为真正的系统大脑
Athena 在 Dashboard UX 上迈出一大步。本周期亮点包括:
- 拓扑可视化(Topology visualization),支持测试查询;
- Router Replay 可视化;
- 评估 API 与 Dashboard 评估面;
- 监控与可观测性改进;
- 推理感知的 Playground 支持;
- 只读 Dashboard 模式,用于公开测试版与演示部署;
- Dashboard 中的 MCP 工具支持;
- 广泛的布局、移动端、落地页、管理端与监控打磨。
其结果是:用户现在能做的远不止改 YAML、看日志。他们可以从 Dashboard 本身交互式地观察(observe)、调试(debug)、**评估(evaluate)与演示(demonstrate)**系统行为。
10. AMD ROCm 成为 vllm-sr 的一等部署路径
Athena 把 AMD 路径变成了 vllm-sr 的规范部署流程,而不是旁路实验。项目现在有 vllm-sr 镜像的真正 ROCm 版本、一份 AMD 部署 playbook,以及一条清晰的、在 AMD GPU 上用 ONNX 加速运行路由器的 CLI 路径。
本地 image-first 流程现在明确为:
vllm-sr serve --platform amd
--platform amd 不只是品牌。在仓库的 AMD 路径中,它选择 ROCm 镜像默认值、把 AMD 平台穿透容器运行时、通过把 use_cpu 标志翻转为 false 来启用 GPU-first 配置默认值(除非显式禁用),并在宿主机存在时挂载预期的 ROCm 设备(如 /dev/kfd、/dev/dri)。CLI 侧的 --platform 参数解析可在 src/vllm-sr/cli/container_images.py 看到,测试覆盖见 test_cli_serve_engine_mode.py。
在底层,ROCm 镜像也与前面讲的 ONNX runtime 故事对齐:vllm-sr ROCm 镜像构建 ONNX 支撑的路由器、安装 ROCm ONNX Runtime,并可以加载 AMD CK Flash Attention 自定义算子。实际效果是:Athena 可以通过标准的 vllm-sr serve --platform amd 路径在 AMD ROCm 上运行 FA + GPU,而不需要用户另起一套自定义栈。
项目还随附一份更清晰的参考 AMD profile 用于真实部署,包括针对 ROCm vLLM 后端的 alias-based 路由。所以部署故事不再是"理论上 Semantic Router 可以跑在 AMD 上",而是项目现在拥有一条端到端 AMD 路径:专用镜像、文档化的 serve 流程、GPU 穿透行为,以及内置于目标操作者体验中的 ONNX + Flash Attention 加速。
11. Athena 也是研究与模型系统周期
Athena 不只是产品发布,也是一个研究与模型系统周期。该阶段项目:
- 发布了 Signal Driven Decision Routing for Mixture-of-Modality Models 白皮书;
- 推进了多模态与模态感知的模型训练,包括跨模态 embedding 工作与基于 mmBERT 的分类器/模态路由器训练;
- 通过 CK Flash Attention、ONNX 图重写与面向 ROCm 的推理路径,把更长上下文的模型加速推入核心栈;
- 收紧了模型研究、训练产物与可部署运行时面之间的桥梁。
这种组合很重要:只有当研究想法、模型训练与生产系统工作一起前进时,语义路由才能成为持久的基础设施。Athena 迄今是这一哲学最清晰的表达。
展望:Athena 之后
Athena 把战略路由操作化。下一阶段的关键词是闭环(closing the loop):
- 一个能从自然语言需求编写与修订路由 DSL 的训练编码智能体(training coding agent);
- 一个使用反向信号与路由结果迭代改进信号与决策规则的自学习回路(self-learning loop);
- 更深入的多轮记忆与智能体工具工作流;
- 更生产级的运维与系统大脑自动化;
- 更广的多模态与工具感知安全覆盖;
- 研究原型与可部署运行时面之间的持续收敛。
快速上手 Athena
想先体验托管版本再本地安装,可访问 app.vllm-sr.ai。
macOS/Linux 一行安装:
curl -fsSL https://vllm-sr.ai/install.sh | bash
这会安装 CLI、为 vllm-sr serve 准备本地 Docker 或 Podman 运行时、自动执行首次启动,并在可行时打开 Dashboard。
如果更偏好手动 PyPI 流程,或在 Windows 上:
pip install vllm-sr
vllm-sr serve
若 config.yaml 尚不存在,vllm-sr serve 会引导出最小设置配置并启动设置模式 Dashboard。若偏好 YAML-first 工作流,仍可先运行 vllm-sr init 再 vllm-sr serve。
面向 Kubernetes 部署:
helm install semantic-router oci://ghcr.io/vllm-project/charts/semantic-router
对于希望深入源码验证本文结论的读者,推荐按需查阅以下路径:
- 模型选择运行时与配置:modelselection 包说明、selection 包、特征定义;
- NLP 提示压缩:compressor.go 及同目录下的
textrank.go、tfidf.go、novelty.go、position.go; - 混合检索:vectorstore 包 的
hybrid.go与 Llama Stack 后端; - 记忆存储:memory 包 的
milvus_store.go等; - DSL 编译器:dsl 包 的
compiler.go; - Router Replay:routerreplay 包;
- 安装与 AMD 路径:install.sh、container_images.py。
The bridge can now reason strategically. Welcome to Athena.