告别混乱会议记录：Sortformer多说话人区分实战指南

你是否还在为多人会议录音的说话人区分烦恼？WhisperLiveKit的Sortformer后端提供了实时、准确的说话人区分能力，让你轻松应对多说话人场景。本文将带你从零开始，掌握如何利用Sortformer实现精准的实时说话人区分，读完你将能够：

• 理解Sortformer在WhisperLiveKit中的工作原理
• 配置并运行Sortformer说话人区分功能
• 处理和分析多说话人语音数据
• 优化说话人区分结果的准确性

Sortformer：实时说话人区分的核心引擎

Sortformer是WhisperLiveKit中实现说话人区分（Speaker Diarization）的核心组件之一，它基于NVIDIA的NeMo框架构建，专为实时音频流处理优化。与传统的离线处理方式不同，Sortformer能够在音频流传输过程中实时识别和区分不同说话人。

Sortformer与传统方法的对比

特性	Sortformer	传统方法
处理方式	实时流处理	离线批处理
延迟	低（毫秒级）	高（需完整音频）
内存占用	优化的缓存机制	高（需存储完整音频）
多说话人上限	支持最多4个说话人	通常无限制但准确性下降
资源需求	GPU加速推荐	可CPU运行但速度慢

Sortformer的核心架构

Sortformer在WhisperLiveKit中的实现位于whisperlivekit/diarization/sortformer_backend.py文件中，主要包含以下关键组件：

class SortformerDiarization:
    def __init__(self, model_name: str = "nvidia/diar_streaming_sortformer_4spk-v2"):
        """初始化Sortformer模型，默认使用支持4个说话人的版本"""
        self._load_model(model_name)
    
    def _load_model(self, model_name: str):
        """加载并配置Sortformer模型参数"""
        self.diar_model = SortformerEncLabelModel.from_pretrained(model_name)
        self.diar_model.eval()
        
        # 设置流式处理参数
        self.diar_model.sortformer_modules.chunk_len = 10
        self.diar_model.sortformer_modules.subsampling_factor = 10
        self.diar_model.sortformer_modules.chunk_left_context = 10
        self.diar_model.sortformer_modules.spkcache_len = 188
        self.diar_model.sortformer_modules.fifo_len = 188

Sortformer通过滑动窗口机制处理音频流，使用说话人缓存（spkcache）和FIFO队列维护说话人特征，实现实时更新和区分。

快速开始：配置与运行Sortformer

环境准备

Sortformer需要特定的依赖库，安装命令已在代码中明确指定：

try:
    from nemo.collections.asr.models import SortformerEncLabelModel
    from nemo.collections.asr.modules import AudioToMelSpectrogramPreprocessor
except ImportError:
    raise SystemExit("""Please use `pip install "git+https://github.com/NVIDIA/NeMo.git@main#egg=nemo_toolkit[asr]"` to use the Sortformer diarization""")

执行以下命令安装必要依赖：

pip install "git+https://github.com/NVIDIA/NeMo.git@main#egg=nemo_toolkit[asr]"

基本使用示例

Sortformer的使用非常简单，以下是一个基本的使用示例：

# 初始化Sortformer模型
diarization = SortformerDiarization(model_name="nvidia/diar_streaming_sortformer_4spk-v2")

# 创建在线处理实例
online_processor = SortformerDiarizationOnline(shared_model=diarization)

# 处理音频流（假设audio_stream是音频数据生成器）
async for audio_chunk in audio_stream:
    await online_processor.diarize(audio_chunk)
    
    # 获取当前说话人区分结果
    segments = online_processor.get_segments()
    print("当前说话人片段:", segments)

配置参数调优

Sortformer提供了多个可调整的参数以优化不同场景下的性能：

# 调整缓存和窗口大小
self.diar_model.sortformer_modules.spkcache_len = 188  # 说话人缓存长度
self.diar_model.sortformer_modules.fifo_len = 188       # FIFO队列长度
self.diar_model.sortformer_modules.chunk_left_context = 10  # 左侧上下文长度

• spkcache_len：控制保存的说话人特征历史长度，较长的值可以提高长时间对话的准确性
• chunk_left_context：控制每个音频块处理时使用的左侧上下文长度，较大的值可能提高准确性但增加延迟
• chunk_len：设置每个处理块的持续时间（秒），影响处理延迟和准确性的平衡

深入理解：Sortformer的工作流程

Sortformer在WhisperLiveKit中的工作流程可以分为四个主要阶段：音频预处理、特征提取、说话人建模和结果生成。

1. 音频预处理

音频首先经过预处理模块转换为适合模型输入的格式：

self.audio2mel = AudioToMelSpectrogramPreprocessor(
    window_size=0.025,
    normalize="NA",
    n_fft=512,
    features=128,
    pad_to=0
)

这个步骤将原始PCM音频转换为梅尔频谱图（Mel Spectrogram），突出语音信号中的重要特征。

2. 流式处理流程

Sortformer采用特殊的流式处理机制，通过维护内部状态实现实时处理：

async def diarize(self, pcm_array: np.ndarray):
    # 累积音频直到达到处理块大小
    self.buffer_audio = np.concatenate([self.buffer_audio, pcm_array.copy()])
    if not len(self.buffer_audio) >= threshold:
        return
        
    # 处理一个完整的音频块
    audio = self.buffer_audio[:threshold]
    self.buffer_audio = self.buffer_audio[threshold:]
    
    # 特征提取和模型推理
    processed_signal_chunk, _ = self.audio2mel.get_features(audio_tensor, length_tensor)
    
    # 流式模型推理
    self.streaming_state, self.total_preds = self.diar_model.forward_streaming_step(
        processed_signal=chunk_feat_seq_t,
        streaming_state=self.streaming_state,
        total_preds=self.total_preds
    )
    
    # 处理预测结果生成说话人片段
    self._process_predictions()

3. 说话人特征管理

Sortformer通过维护两个关键数据结构来跟踪说话人特征：

• spkcache：长期缓存，存储从会话开始到现在的说话人特征
• fifo：短期队列，存储最近的说话人特征

class StreamingSortformerState:
    def __init__(self):
        self.spkcache = None  # 长期说话人缓存
        self.spkcache_preds = None  # 缓存部分的说话人预测
        self.fifo = None  # 近期特征的FIFO队列
        self.fifo_preds = None  # FIFO部分的说话人预测
        # ...其他状态变量

这种双缓存机制使Sortformer能够在保持实时性的同时，适应说话人特征随时间的变化。

实战应用：处理多说话人语音数据

从音频文件到说话人标签

以下是一个完整的示例，展示如何处理音频文件并获取说话人区分结果：

import asyncio
import librosa
from whisperlivekit.diarization.sortformer_backend import SortformerDiarization, SortformerDiarizationOnline

async def process_audio_file(file_path):
    # 加载音频文件
    signal, sr = librosa.load(file_path, sr=16000)
    
    # 初始化Sortformer
    diarization = SortformerDiarization()
    processor = SortformerDiarizationOnline(shared_model=diarization)
    
    # 分块处理音频
    chunk_size = int(0.5 * sr)  # 0.5秒的块
    for i in range(0, len(signal), chunk_size):
        chunk = signal[i:i+chunk_size]
        await processor.diarize(chunk)
        print(f"处理进度: {i/len(signal)*100:.1f}%")
    
    # 获取最终结果
    segments = processor.get_segments()
    return segments

# 运行处理
segments = asyncio.run(process_audio_file("meeting_recording.wav"))

# 打印结果
print("说话人区分结果:")
for segment in segments:
    print(f"说话人 {segment.speaker}: {segment.start:.2f}s - {segment.end:.2f}s")

结果后处理与可视化

Sortformer提供了将原始模型输出转换为可读性更高格式的功能：

# 连接相同说话人的连续片段
concatenated = online_processor._concatenate_speakers(segments)

# 结果示例
[
    {"speaker": 1, "begin": 0.0, "end": 5.2},
    {"speaker": 2, "begin": 5.3, "end": 10.5},
    {"speaker": 1, "begin": 10.6, "end": 15.0}
]

可以使用这个功能将原始的细粒度片段合并为更有意义的说话人转换单元。

与转录文本对齐

Sortformer最强大的功能之一是能够将说话人标签与语音转文本结果对齐：

# 假设transcript_tokens是Whisper生成的带时间戳的文本token
tagged_tokens = online_processor.assign_speakers_to_tokens(transcript_tokens)

# 输出带说话人标签的转录结果
for token in tagged_tokens:
    print(f"[说话人 {token.speaker}]: {token.text}")

这个功能通过时间戳匹配将说话人标签分配给转录文本，实现"谁在何时说了什么"的完整记录。

常见问题与解决方案

说话人混淆问题

如果系统经常将两个说话人混淆，可以尝试调整以下参数：

# 增加说话人缓存长度
self.diar_model.sortformer_modules.spkcache_len = 250  # 默认188

# 降低说话人更新频率
self.diar_model.sortformer_modules.spkcache_update_period = 180  # 默认144

实时性与准确性平衡

在需要更低延迟的场景（如实时会议），可以牺牲一些准确性来提高响应速度：

# 减少上下文窗口
self.diar_model.sortformer_modules.chunk_left_context = 5  # 默认10

# 减小块大小
self.diar_model.sortformer_modules.chunk_len = 5  # 默认10

处理静音和背景噪音

Sortformer包含内置的静音检测和处理机制：

# 插入静音标记（在检测到静音时调用）
online_processor.insert_silence(silence_duration=1.5)

这个功能有助于在长时间静音后重置说话人模型，减少错误分类。

总结与未来展望

Sortformer为WhisperLiveKit提供了强大的实时说话人区分能力，使多说话人语音处理从离线批处理迈向实时流处理成为可能。通过优化的缓存机制和流式推理策略，Sortformer在保持高准确性的同时实现了低延迟处理，非常适合会议记录、实时字幕和远程教学等应用场景。

关键功能回顾

• 实时流式说话人区分，支持最多4个说话人
• 与Whisper语音转文本无缝集成，提供带说话人标签的转录结果
• 可调整的缓存和上下文参数，适应不同场景需求
• 低延迟设计，适合实时应用

进阶探索方向

1. 自定义模型训练：使用docs/available_models.md中描述的方法训练自定义领域模型
2. 多语言支持：结合docs/supported_languages.md扩展到多语言场景
3. 性能优化：根据硬件条件调整whisperlivekit/diarization/sortformer_backend.py中的参数

Sortformer代表了实时说话人区分技术的最新进展，随着模型和算法的不断优化，我们可以期待未来在准确性、延迟和资源效率方面的进一步提升。

希望本文能帮助你充分利用WhisperLiveKit的Sortformer功能处理多说话人语音数据。如有任何问题或建议，请参考项目CONTRIBUTING.md中的指南参与讨论和贡献。

提示：定期查看README.md和DEV_NOTES.md获取最新功能更新和性能优化建议。