dstack项目中的模型访问服务支持解析

在dstack项目中，模型服务是一个核心功能组件。近期项目团队对模型服务的URL处理机制进行了重要升级，使其能够更好地支持不同部署场景下的模型访问需求。

原有架构的局限性

在早期版本中，dstack的模型服务存在以下设计约束：

1. 模型URL必须是一个完整的网关地址
2. 前端界面固定显示"Gateway"列
3. 服务端返回的base_url字段始终要求包含完整URL

这种设计虽然简单直接，但缺乏灵活性，特别是在某些部署场景下需要直接通过dstack-server访问模型时显得不够优雅。

新架构的技术改进

新版本实现了更灵活的URL处理机制，主要改进包括：

前端展示层优化

1. 将"Gateway"列重命名为更通用的"URL"列
2. 支持显示完整URL或相对路径两种形式的模型地址
3. 自动处理路径拼接逻辑，确保用户始终看到可用的访问地址

服务端接口增强

1. service.model.base_url字段现在可以接受两种格式：
   • 完整URL（保持向后兼容）
   • 相对路径（新增支持）
2. 路径自动补全机制：
   • 当收到相对路径时，前端会自动将其与dstack-server基础URL拼接
   • 拼接时保留原始路径的尾部斜杠等细节

实际应用示例

假设dstack-server部署在不同环境中，模型地址的处理示例如下：

1. 传统网关模式：

   • 服务端返回：https://gateway.example.com
   • 前端显示：https://gateway.example.com
   • 直接使用原始URL访问

2. 服务器访问模式：

   • 服务端返回：/access/models/team1/
   • 服务器基础URL：https://dstack.company.com
   • 前端组合显示：https://dstack.company.com/access/models/team1/
   • 访问时使用组合后的完整URL

3. 本地开发环境：

   • 服务端返回：/access/local/
   • 服务器运行在：http://localhost:3000
   • 最终URL：http://localhost:3000/access/local/

技术实现要点

这一改进涉及前后端的协同工作：

1. 前端处理逻辑：

   • 判断base_url是否包含协议头（http/https）
   • 若无协议头则视为路径，与当前服务器地址拼接
   • 保持路径中的斜杠一致性

2. 后端调整：

   • 网关部署时仍返回完整URL
   • 直接访问模式时返回相对路径
   • 确保API响应结构不变，仅内容格式变化

3. OpenAI客户端适配：

   • 统一处理两种URL格式
   • 确保无论哪种形式都能正确连接模型服务

总结

这一改进显著提升了dstack项目在模型服务方面的灵活性，使得：

• 混合部署模式（网关+直接访问）成为可能
• 本地开发体验更加流畅
• 系统架构更加解耦
• 用户界面更加直观

这种设计既保留了原有网关模式的支持，又为更轻量级的部署方案提供了可能，是dstack项目架构演进中的重要一步。