Granite Switch 4.1 8B 语音输入实战:同一端点支持 7 种语言的语音转文字(TurboCTC)
Granite Switch 4.1 8B 语音输入实战:同一端点支持 7 种语言的语音转文字(TurboCTC)
Granite Switch 4.1 8B 是 IBM 推出的模块化大语言模型,它在同一个服务端点内集成了聊天、安全检测、决策与语音转文字(Speech-to-Text)能力。4.1.1 版本内置 Granite Speech 5.0 TurboCTC 语音引擎,无需额外部署语音服务,即可把英语、法语、德语、西班牙语、葡萄牙语、意大利语、日语这 7 种语言的音频直接转成带标点的文字。本文带你快速上手这套"一机多用"的语音输入方案。
为什么值得关注:一个端点,三种能力
💡 传统做法中,语音转文字需要单独部署 ASR 服务,再和 LLM 拼接,链路长、运维复杂。Granite Switch 4.1 8B 的做法完全不同:
- 同一个 vLLM 端点同时处理聊天、guardian-core 安全检测、decision 决策和音频转写
- 无需独立语音服务器,音频通过标准 OpenAI 兼容接口传入
- 零代码改造:适配器通过 chat template 中的控制 token 按需激活
| 能力 | 组件 | 说明 |
|---|---|---|
| 自然语言聊天 | Granite 4.1 8B 基座 | 8B 参数,128K 上下文 |
| 安全检测 | guardian-core 适配器 | 识别有害内容,返回 yes/no 判定 |
| 概率决策 | decision 适配器 | 对选项标签输出 softmax 概率分布 |
| 语音转文字 | Granite Speech 5.0 TurboCTC | 470M 参数,支持 7 种语言 |
7 种语言语音转文字:TurboCTC 是怎么工作的
🎙️ 4.1.1 版本内置的 Granite Speech 5.0 TurboCTC 编码器有几个突出亮点:
- 多语言支持:英语、法语、德语、西班牙语、葡萄牙语、意大利语、日语(旧版 4.1 仅支持英语)
- 自动语言检测:语言直接从音频中识别,调用时不需要传语言参数
- 高速非自回归架构:基于 conformer + CTC 的非自回归编码器,是 OpenASR 排行榜上最快的 ASR 模型
- 输出规范化:转录结果自带标点和大写字母,可直接用于下游对话
工作流程非常直观:
音频输入 → TurboCTC 编码器转写 → 文字嵌入聊天上下文 → LLM/适配器生成回复
也就是说,转写文字会替换消息中的音频内容部分,直接拼进聊天上下文——对模型来说,就像用户用文字提问一样。
快速开始:一键部署与发送第一条语音
环境要求
| 依赖 | 版本 |
|---|---|
| Python | >= 3.11, < 3.14 |
| PyTorch | >= 2.11.0 |
| Transformers | >= 5.16, <= 5.17.0 |
| vLLM(可选) | >= 0.26.0, < 0.31.0 |
部署步骤
pip install "granite-switch[vllm,audio]>=0.1.1"
python -m vllm.entrypoints.openai.api_server \
--model ibm-granite/granite-switch-4.1-8b \
--port 8000
发送语音请求
使用标准 OpenAI 客户端,把 wav 音频以 base64 放进 input_audio 字段即可:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="unused")
response = client.chat.completions.create(
model="ibm-granite/granite-switch-4.1-8b",
messages=[{"role": "user", "content": [
{"type": "text", "text": "回答音频中的问题。"},
{"type": "input_audio", "input_audio": {"data": "<base64-wav>", "format": "wav"}},
]}],
)
print(response.choices[0].message.content)
就这么简单——和发送文字消息唯一的区别,就是消息内容里多了一个音频块。
音频配置幕后:asr 参数详解
音频转写由 config.json 中一组 asr_* 字段控制,该 checkpoint 已默认开启(asr_enabled: true):
| 参数 | 默认值 | 作用 |
|---|---|---|
asr_enabled |
true | 语音转写总开关 |
asr_chunk_length_s |
120.0 | 长音频分块长度(秒) |
asr_chunk_overlap_s |
5.0 | 相邻分块重叠时长(秒) |
asr_max_audio_clips |
32 | 单次请求最大音频片段数 |
asr_device |
cuda | 语音编码器运行设备 |
💡 长音频会按 120 秒分块、5 秒重叠地转写,避免语句跨块被截断。
仓库文件导览:读懂这个 checkpoint
| 文件 | 说明 |
|---|---|
| model-00001-of-00004.safetensors 等 4 个分片 | 完整模型权重(含内嵌适配器) |
| config.json | GraniteSwitch 配置,含 asr_* 音频参数 |
| adapter_index.json | 适配器与控制 token 的映射表 |
| BUILD.md | 组合模型详情:基座、适配器 rank、来源 |
| chat_template.jinja | 含适配器激活逻辑的 Jinja 模板 |
| io_configs/decision/io.yaml | decision 适配器的输入输出约定 |
| io_configs/guardian-core/io.yaml | guardian-core 适配器的输出 JSON 格式 |
| model.safetensors.index.json | 权重分片索引 |
从 adapter_index.json 可以看到,两个适配器分别通过 <|guardian-core|>(token 100352)和 <|decision|>(token 100353)两个控制 token 激活——这正是"零代码切换"的底层机制,而语音转写则由 config.json 中的开关自动接管。
版本对比:4.1 与 4.1.1 怎么选
| 版本 | Tag | 适配器 | 语音支持 |
|---|---|---|---|
| 4.1.1(最新,main 分支) | granite-switch-4.1.1-8b |
guardian-core、decision(更新权重) | 7 种语言 |
| 4.1 | granite-switch-4.1-8b |
guardian-core、decision | 仅英语 |
需要锁定旧版本时,在加载模型时传 revision="granite-switch-4.1-8b" 即可。
使用限制与注意事项
⚠️ 上线前建议了解这些已知边界:
- 误转写风险:语音编码器与 LLM 尚未联合训练,一次错误的转录会悄悄改变模型的回答对象
- 语言范围:仅覆盖 7 种语言,其他语言音频可能转写不准
- 安全兜底:guardian-core 只是额外一层防护,不能替代应用级的安全测试
- 决策概率:decision 输出的概率应视为"先验参考",而非认证分类结果
更多细节可参考 README.md 中 Ethical Considerations 章节。
总结
Granite Switch 4.1 8B 把"语音转文字 + 多适配器"装进了一个 checkpoint、一个端点:部署一条命令,语音、聊天、决策共用同一个 API。如果你正在构建语音客服、多语言语音助手或需要安全检测的对话系统,这套 Apache 2.0 许可的开源方案非常值得一试。