FunASR会议记录系统：多人对话实时转写与整理

在现代办公中，会议记录是信息传递和决策追踪的重要环节，但传统人工记录方式存在效率低、易遗漏、实时性差等痛点。FunASR作为阿里巴巴通义实验室开源的语音识别工具包，通过集成语音端点检测（VAD）、说话人分离、实时转写等技术，可快速构建多人对话实时转写与整理系统，解决会议记录的核心难题。

系统架构与核心功能

FunASR会议记录系统基于"语音前端处理-说话人分离-实时转写-文本整理"的全链路设计，核心模块包括：

关键技术组件

• 语音端点检测（VAD）：采用fsmn-vad模型实现高精度语音活动检测，自动切分长音频为有效语音片段，支持实时流式处理。
• 说话人分离：通过cam++模型实现说话人嵌入提取与聚类，支持多人对话场景下的说话人标签分配。
• 实时语音转写：基于paraformer-zh-streaming模型实现低延迟语音转文字，600ms粒度实时出字，兼顾准确率与流畅性。
• 文本后处理：集成ct-punc标点恢复模型和逆文本正则化（ITN），输出带标点、格式规范的会议文本。

快速部署指南

环境准备

# 克隆仓库
git clone https://gitcode.com/gh_mirrors/fu/FunASR && cd FunASR

# 安装依赖
pip3 install -U funasr modelscope

启动实时会议转写服务

使用中文实时语音听写服务（CPU版本）部署流式转写服务：

# 启动服务
cd runtime
bash run_server.sh --type online --model paraformer-zh-streaming --vad_model fsmn-vad --punc_model ct-punc

服务部署详细参数可参考中文实时语音听写服务文档。

核心功能实现

1. 多人说话人识别

通过加载说话人分离模型，为不同参会者分配唯一标签：

from funasr import AutoModel

# 加载说话人分离模型
model = AutoModel(model="cam++", model_revision="v1.0.0")

# 处理会议音频，输出说话人标签
wav_file = "meeting_recording.wav"
res = model.generate(input=wav_file, output_spk_label=True)
print(res)  # 格式: [{"start": 0.5, "end": 3.2, "spk": "SPEAKER_01", "text": "..."}]

模型详情见cam++说话人确认模型。

2. 实时流式转写

通过WebSocket客户端连接转写服务，实现实时文字输出：

# 客户端示例代码
import websocket
import json

ws = websocket.WebSocket()
ws.connect("ws://localhost:10095/funasr/ws/asr")

# 发送音频流
with open("meeting_stream.wav", "rb") as f:
    while True:
        data = f.read(3200)  # 100ms音频帧
        if not data:
            break
        ws.send(json.dumps({"mode": "online", "audio": data.hex()}))
        result = ws.recv()
        print(json.loads(result)["text"])

客户端实现可参考Websocket协议文档。

3. 会议记录整理

结合时间戳和说话人信息，生成结构化会议纪要：

# 后处理示例（完整代码见examples/industrial_data_pretraining/paraformer/）
from funasr.utils.postprocess_utils import rich_transcription_postprocess

# 转写结果后处理
res = model.generate(input=wav_file, spk_model="cam++", punc_model="ct-punc")
structured_notes = rich_transcription_postprocess(res[0]["text"], with_timestamp=True)
print(structured_notes)

输出格式示例：

[09:30:15] SPEAKER_01: 今天我们讨论新产品发布会的筹备方案。
[09:30:42] SPEAKER_02: 市场部建议增加线上直播渠道，预算需要追加20%。

性能优化与最佳实践

系统调优参数

• 动态batch配置：通过batch_size_s=60参数控制动态批处理，平衡延迟与吞吐量
• VAD分段策略：设置max_single_segment_time=30000（30秒）避免长语音内存占用过高
• 热词定制：使用hotword='产品名称,负责人'参数提升专业术语识别准确率

部署架构建议

• 单机部署：适合小型会议，直接使用中文实时语音听写服务
• 集群部署：大型会议场景建议采用triton_gpu部署方案，支持GPU加速和多实例负载均衡

应用场景扩展

除常规会议记录外，系统还可扩展至以下场景：

• 远程会议实时字幕：集成到Zoom/Teams等会议软件，通过html5客户端实现实时字幕显示
• 访谈内容结构化：配合情感识别模型分析说话人情绪变化，输出带情感标签的访谈记录
• 多语言会议支持：切换paraformer-en模型支持中英双语会议转写

总结与展望

FunASR会议记录系统通过开源工具链与工业级模型的深度整合，为多人对话场景提供了从实时转写到文本整理的全流程解决方案。相比传统记录方式，可提升会议记录效率80%以上，同时降低信息遗漏率。未来随着Qwen-Audio多模态模型的集成，将进一步实现会议内容的智能摘要与行动项提取。

官方文档：docs/tutorial/README_zh.md
服务部署指南：runtime/readme_cn.md
模型仓库：model_zoo/readme_zh.md