Granite Switch 4.1 8B 语音输入实战:同一端点支持 7 种语言的语音转文字(TurboCTC)

原创2026-11-14 12:51:041,299 阅读
文章标签:人工智能大模型基础模型语音多模态本地部署

Granite Switch 4.1 8B 语音输入实战:同一端点支持 7 种语言的语音转文字(TurboCTC)

Granite Switch 4.1 8B 是 IBM 推出的模块化大语言模型,它在同一个服务端点内集成了聊天、安全检测、决策与语音转文字(Speech-to-Text)能力。4.1.1 版本内置 Granite Speech 5.0 TurboCTC 语音引擎,无需额外部署语音服务,即可把英语、法语、德语、西班牙语、葡萄牙语、意大利语、日语这 7 种语言的音频直接转成带标点的文字。本文带你快速上手这套"一机多用"的语音输入方案。

为什么值得关注:一个端点,三种能力

💡 传统做法中,语音转文字需要单独部署 ASR 服务,再和 LLM 拼接,链路长、运维复杂。Granite Switch 4.1 8B 的做法完全不同:

  • 同一个 vLLM 端点同时处理聊天、guardian-core 安全检测、decision 决策和音频转写
  • 无需独立语音服务器,音频通过标准 OpenAI 兼容接口传入
  • 零代码改造:适配器通过 chat template 中的控制 token 按需激活
能力 组件 说明
自然语言聊天 Granite 4.1 8B 基座 8B 参数,128K 上下文
安全检测 guardian-core 适配器 识别有害内容,返回 yes/no 判定
概率决策 decision 适配器 对选项标签输出 softmax 概率分布
语音转文字 Granite Speech 5.0 TurboCTC 470M 参数,支持 7 种语言

7 种语言语音转文字:TurboCTC 是怎么工作的

🎙️ 4.1.1 版本内置的 Granite Speech 5.0 TurboCTC 编码器有几个突出亮点:

  1. 多语言支持:英语、法语、德语、西班牙语、葡萄牙语、意大利语、日语(旧版 4.1 仅支持英语)
  2. 自动语言检测:语言直接从音频中识别,调用时不需要传语言参数
  3. 高速非自回归架构:基于 conformer + CTC 的非自回归编码器,是 OpenASR 排行榜上最快的 ASR 模型
  4. 输出规范化:转录结果自带标点和大写字母,可直接用于下游对话

工作流程非常直观:

音频输入 → TurboCTC 编码器转写 → 文字嵌入聊天上下文 → LLM/适配器生成回复

也就是说,转写文字会替换消息中的音频内容部分,直接拼进聊天上下文——对模型来说,就像用户用文字提问一样。

快速开始:一键部署与发送第一条语音

环境要求

依赖 版本
Python >= 3.11, < 3.14
PyTorch >= 2.11.0
Transformers >= 5.16, <= 5.17.0
vLLM(可选) >= 0.26.0, < 0.31.0

部署步骤

pip install "granite-switch[vllm,audio]>=0.1.1"

python -m vllm.entrypoints.openai.api_server \
  --model ibm-granite/granite-switch-4.1-8b \
  --port 8000

发送语音请求

使用标准 OpenAI 客户端,把 wav 音频以 base64 放进 input_audio 字段即可:

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")

response = client.chat.completions.create(
    model="ibm-granite/granite-switch-4.1-8b",
    messages=[{"role": "user", "content": [
        {"type": "text", "text": "回答音频中的问题。"},
        {"type": "input_audio", "input_audio": {"data": "<base64-wav>", "format": "wav"}},
    ]}],
)
print(response.choices[0].message.content)

就这么简单——和发送文字消息唯一的区别,就是消息内容里多了一个音频块。

音频配置幕后:asr 参数详解

音频转写由 config.json 中一组 asr_* 字段控制,该 checkpoint 已默认开启(asr_enabled: true):

参数 默认值 作用
asr_enabled true 语音转写总开关
asr_chunk_length_s 120.0 长音频分块长度(秒)
asr_chunk_overlap_s 5.0 相邻分块重叠时长(秒)
asr_max_audio_clips 32 单次请求最大音频片段数
asr_device cuda 语音编码器运行设备

💡 长音频会按 120 秒分块、5 秒重叠地转写,避免语句跨块被截断。

仓库文件导览:读懂这个 checkpoint

文件 说明
model-00001-of-00004.safetensors 等 4 个分片 完整模型权重(含内嵌适配器)
config.json GraniteSwitch 配置,含 asr_* 音频参数
adapter_index.json 适配器与控制 token 的映射表
BUILD.md 组合模型详情:基座、适配器 rank、来源
chat_template.jinja 含适配器激活逻辑的 Jinja 模板
io_configs/decision/io.yaml decision 适配器的输入输出约定
io_configs/guardian-core/io.yaml guardian-core 适配器的输出 JSON 格式
model.safetensors.index.json 权重分片索引

从 adapter_index.json 可以看到,两个适配器分别通过 <|guardian-core|>(token 100352)和 <|decision|>(token 100353)两个控制 token 激活——这正是"零代码切换"的底层机制,而语音转写则由 config.json 中的开关自动接管。

版本对比:4.1 与 4.1.1 怎么选

版本 Tag 适配器 语音支持
4.1.1(最新,main 分支) granite-switch-4.1.1-8b guardian-core、decision(更新权重) 7 种语言
4.1 granite-switch-4.1-8b guardian-core、decision 仅英语

需要锁定旧版本时,在加载模型时传 revision="granite-switch-4.1-8b" 即可。

使用限制与注意事项

⚠️ 上线前建议了解这些已知边界:

  • 误转写风险:语音编码器与 LLM 尚未联合训练,一次错误的转录会悄悄改变模型的回答对象
  • 语言范围:仅覆盖 7 种语言,其他语言音频可能转写不准
  • 安全兜底:guardian-core 只是额外一层防护,不能替代应用级的安全测试
  • 决策概率:decision 输出的概率应视为"先验参考",而非认证分类结果

更多细节可参考 README.md 中 Ethical Considerations 章节。

总结

Granite Switch 4.1 8B 把"语音转文字 + 多适配器"装进了一个 checkpoint、一个端点:部署一条命令,语音、聊天、决策共用同一个 API。如果你正在构建语音客服、多语言语音助手或需要安全检测的对话系统,这套 Apache 2.0 许可的开源方案非常值得一试。

登录后查看全文
granite-switch-4.1-8b