Xinference 中 Docker 容器端口映射的注意事项
在使用 Xinference 项目时,很多开发者会选择通过 Docker 容器来部署服务。然而,在配置端口映射时,可能会遇到一些困惑,特别是关于模型服务访问的问题。
核心问题分析
当用户通过 Docker 运行 Xinference 并映射端口(例如将容器内的 9997 端口映射到主机的 9997 端口)后,虽然可以顺利访问 Web UI 界面,但在启动模型后,UI 上显示的模型服务端口(如 44466)却无法直接访问。这实际上是一个常见的理解误区。
正确的访问方式
Xinference 的设计架构中,所有服务(包括 Web UI 和模型服务)都是通过同一个入口端口(默认 9997)对外提供服务的。UI 界面上显示的模型端口(如 44466)是容器内部的端口号,并不需要也不应该直接映射到主机。
技术原理
这种设计基于以下几个技术考虑:
-
API 网关模式:Xinference 使用 9997 端口作为统一的 API 入口,所有请求(包括模型推理)都通过这个端口路由到内部相应服务。
-
容器网络隔离:Docker 容器的网络环境是隔离的,内部端口不需要也不应该全部暴露给主机。
-
服务发现机制:Xinference 内部会自动管理模型服务的注册和发现,用户无需关心具体的内部端口。
最佳实践建议
-
只需要映射主服务端口(默认 9997)即可,无需映射模型服务端口。
-
通过 Web UI 或 API 访问模型服务时,都应使用主服务端口(9997)作为访问入口。
-
如果确实需要直接访问模型服务端口,应考虑修改 Xinference 的配置,而不是简单地增加端口映射。
总结
理解 Xinference 的服务架构对于正确配置 Docker 部署至关重要。记住所有服务都通过主端口提供,可以避免不必要的端口映射配置,也能更好地遵循项目的设计理念。这种集中式的服务访问方式不仅简化了部署复杂度,也提高了系统的安全性和可维护性。
AutoGLM-Phone-9BAutoGLM-Phone-9B是基于AutoGLM构建的移动智能助手框架,依托多模态感知理解手机屏幕并执行自动化操作。Jinja00
Kimi-K2-ThinkingKimi K2 Thinking 是最新、性能最强的开源思维模型。从 Kimi K2 开始,我们将其打造为能够逐步推理并动态调用工具的思维智能体。通过显著提升多步推理深度,并在 200–300 次连续调用中保持稳定的工具使用能力,它在 Humanity's Last Exam (HLE)、BrowseComp 等基准测试中树立了新的技术标杆。同时,K2 Thinking 是原生 INT4 量化模型,具备 256k 上下文窗口,实现了推理延迟和 GPU 内存占用的无损降低。Python00
GLM-4.6V-FP8GLM-4.6V-FP8是GLM-V系列开源模型,支持128K上下文窗口,融合原生多模态函数调用能力,实现从视觉感知到执行的闭环。具备文档理解、图文生成、前端重构等功能,适用于云集群与本地部署,在同类参数规模中视觉理解性能领先。Jinja00
HunyuanOCRHunyuanOCR 是基于混元原生多模态架构打造的领先端到端 OCR 专家级视觉语言模型。它采用仅 10 亿参数的轻量化设计,在业界多项基准测试中取得了当前最佳性能。该模型不仅精通复杂多语言文档解析,还在文本检测与识别、开放域信息抽取、视频字幕提取及图片翻译等实际应用场景中表现卓越。00
GLM-ASR-Nano-2512GLM-ASR-Nano-2512 是一款稳健的开源语音识别模型,参数规模为 15 亿。该模型专为应对真实场景的复杂性而设计,在保持紧凑体量的同时,多项基准测试表现优于 OpenAI Whisper V3。Python00
GLM-TTSGLM-TTS 是一款基于大语言模型的高质量文本转语音(TTS)合成系统,支持零样本语音克隆和流式推理。该系统采用两阶段架构,结合了用于语音 token 生成的大语言模型(LLM)和用于波形合成的流匹配(Flow Matching)模型。 通过引入多奖励强化学习框架,GLM-TTS 显著提升了合成语音的表现力,相比传统 TTS 系统实现了更自然的情感控制。Python00
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00