10秒让文本模型学会看图:lollms_hub Smart Routers视觉增强路由创建教程
10秒让文本模型学会看图:lollms_hub Smart Routers视觉增强路由创建教程
lollms_hub 是一个统一管理多个 Ollama / vLLM / OpenAI 兼容实例的 AI 代理服务(proxy server),它内置的 Smart Routers(智能路由) 可以在 10 秒内把一个"看不见图片"的纯文本模型包装成具备视觉理解能力的"增强模型":请求带图时自动交给 VLM(视觉语言模型)看图,再把图片描述交给文本模型作答,全程无需改一行客户端代码。
为什么文本模型需要"视觉增强路由"?
很多场景里你有一对"黄金搭档":
- 一个强大的纯文本大模型(如 70B 级别),逻辑推理能力强,但看不懂图片;
- 一个视觉模型 VLM(如 LLaVA、Gemma3 等),能描述图片,但文字能力一般。
如果直接给文本模型发图,它只能报错或瞎编;而用 VLM 直接回答,又损失了文本模型的推理深度。
lollms_hub 的解决方案是视觉增强路由(Vision Router),思路非常巧妙:
- 用户请求带着图片到达 Hub;
- Hub 检测到
has_images = true,先把图片转交给 VLM,得到一段文字描述; - 把"描述 + 原始问题"一起发给文本模型;
- 最终答案由文本模型高质量生成——相当于"VLM 当眼睛,文本模型当大脑"。
路由规则的核心判定逻辑见 app/api/v1/routes/proxy.py 中的特征提取部分(has_images、min_len、keyword 等条件),数据模型定义在 app/database/models.py(SmartRouter 与 VisionAugmenter 两个表结构)。
准备工作:把服务器和模型接入 Hub
在创建视觉增强路由前,确保两件事:
- ✅ Hub 中至少有一台可访问的推理服务器(Ollama 实例等);
- ✅ 服务器里同时拉好了文本模型和视觉模型,并在模型管理里给视觉模型勾选了图片支持标签,这样
auto路由才知道哪些模型"会看图"。
服务器与模型的添加、拉取都可以通过 Web 界面完成,无需 SSH:
快速创建视觉增强路由:4 步搞定
进入管理后台 Smart Routers 页面,按照下面 4 步操作(官方 README 称之为 Quick Vision Enabler):
第 1 步:选择文本模型
例如 nemotron-3-super —— 它是最终的"答题大脑"。
第 2 步:选择视觉模型(VLM)
例如 gemma3:27b —— 负责"看图说话",把像素变成文字描述。
第 3 步:给路由起个名字
例如 smart-vision-assistant,这个名字之后就是你客户端里填写的 model 名称。
第 4 步:保存!
完成后,smart-vision-assistant 就能像任何模型名一样被调用。带图请求会自动走"VLM 看图 → 描述注入 → 文本模型作答"的增强链路,纯文本请求则直接落到文本模型,互不干扰。
路由效果示例
用户请求:"图里有什么?" [附带一张照片]
↓
规则命中:has_images = true → 路由到 gemma3:27b (VLM)
↓
VLM 分析图片 → "一只金毛寻回犬在接飞盘"
↓
描述 + 原始问题 → 发给 llama3.1:70b(文本模型)生成最终回答
这套分层规则的引擎实现位于 app/api/v1/routes/proxy.py 的 _select_from_pool 函数,支持 has_images、keyword、regex、min_len、user 以及由小模型判定的语义 intent 等多种条件,按优先级从上到下逐条匹配。
进阶玩法:用 Node Studio 搭建视觉增强工作流
如果你喜欢可视化编排,lollms_hub 还内置了一个现成的 "Vision Augmenter" 节点模板:vision_augmentation.json。
它由 4 个节点组成:
| 节点 | 作用 |
|---|---|
hub/input |
接收用户消息与设置 |
hub/vision(Vision Hydrator) |
检测消息中的图片,交给 VLM 生成文字描述,"用水给对话历史补水" |
hub/llm_chat |
把处理后的消息交给文本模型 |
hub/output |
返回最终内容 |
这种"图片水化(Image Hydration)"策略的精髓在于:原始像素被替换成 VLM 的文字描述后,纯文本模型也能'看见'图片内容,且整条链路可以在图形界面里自由增删节点、调整参数,非常适合魔改(比如换成"图片 → OCR 节点 → 代码模型"的组合)。
常见问题
问:客户端需要改动吗?
不需要。路由名会被 /tags 接口自动合并进模型列表(发现逻辑见 proxy.py 中的 Hub Virtual Entities Discovery),OpenAI 兼容客户端把 model 字段换成路由名即可。
问:纯文本请求会不会被 VLM 拖慢?
不会。规则引擎只在 has_images 等条件命中时才把请求导向 VLM 分支,纯文本请求直达文本模型。
问:没有 GPU 能玩吗? 能。视觉增强路由本身只占用一次轻量 VLM 调用,选择参数量较小的视觉模型即可在普通显卡甚至 CPU 上运行。
总结
lollms_hub 的 Smart Routers 让"给文本模型加眼睛"变成了三选一 + 命名的 10 秒操作:选文本模型、选 VLM、起名字、保存。无论是个人搭建本地 AI 网关,还是为团队统一代理多个推理后端,视觉增强路由都是性价比极高的第一个增强功能——让最强的文本大脑配上一双可靠的"眼睛",从此图片和文字一个模型全都要。


