xiaozhi-esp32唤醒词：自定义唤醒词训练与部署

痛点：千篇一律的唤醒词无法满足个性化需求

你是否厌倦了每次都要用"你好小智"来唤醒你的AI助手？想要为你的智能设备设置专属的唤醒词，比如"小爱同学"、"天猫精灵"或者你喜欢的任何名字？传统的唤醒词方案往往固化且难以自定义，这让很多开发者在构建个性化AI硬件时感到束手无策。

本文将为你彻底解决这个问题！通过深入解析xiaozhi-esp32项目的唤醒词机制，你将学会：

• ✅ 理解ESP-SR唤醒词引擎的工作原理
• ✅ 掌握自定义唤醒词的训练流程
• ✅ 实现唤醒词模型的部署与集成
• ✅ 调试和优化唤醒词识别效果
• ✅ 支持多语言唤醒词配置

ESP-SR唤醒词技术架构解析

xiaozhi-esp32项目基于乐鑫的ESP-SR（Speech Recognition）语音识别框架，其唤醒词检测采用先进的深度学习模型。让我们通过技术架构图来理解整个流程：

flowchart TD
    A[音频输入] --> B[音频预处理]
    B --> C[特征提取 MFCC]
    C --> D[WakeNet模型推理]
    D --> E{唤醒词检测?}
    E -->|是| F[触发回调函数]
    E -->|否| G[继续监听]
    F --> H[语音活动检测 VAD]
    H --> I[语音编码传输]

核心组件说明

组件	功能描述	技术特点
AFE（Audio Front End）	音频前端处理	支持AEC回声消除、VAD语音活动检测
WakeNet	唤醒词检测引擎	基于CNN的轻量级神经网络
MFCC特征提取	梅尔频率倒谱系数	将音频转换为频谱特征
模型管理	多唤醒词支持	支持分号分隔的多个唤醒词

自定义唤醒词训练实战

环境准备与数据收集

首先需要准备训练环境，推荐使用ESP-SR提供的模型训练工具：

# 克隆ESP-SR训练仓库
git clone https://github.com/espressif/esp-sr
cd esp-sr/tools/wakenet_training

# 安装依赖
pip install -r requirements.txt

# 准备训练数据
mkdir -p data/custom_wakeword
# 录制至少1000个样本，每个样本1-2秒

训练数据格式要求

训练数据需要满足以下规范：

参数	要求	说明
采样率	16kHz	单声道PCM格式
样本数量	≥1000	每个唤醒词
音频长度	1-2秒	包含完整唤醒词
背景噪声	多样化	不同环境下的录音

训练配置文件示例

创建训练配置文件 config.yaml：

model_name: "custom_wakeword"
wake_words: ["我的小智", "hey xiaozhi", "你好伙伴"]
sample_rate: 16000
frame_length: 512
feature_type: "mfcc"
feature_dim: 40
model_type: "wn9"
training_epochs: 100
batch_size: 32
learning_rate: 0.001
data_augmentation:
  noise_injection: true
  speed_perturb: true
  time_shift: true

执行训练过程

python train_wakenet.py \
  --config config.yaml \
  --data_dir data/custom_wakeword \
  --output_dir models/custom_wakeword

训练完成后，将生成以下文件：

• custom_wakeword_wn9_model.nam - 模型文件
• custom_wakeword_wn9_model.csv - 模型参数
• custom_wakeword_wn9_model.h - C头文件

模型部署与集成

1. 模型文件集成

将训练好的模型文件集成到xiaozhi-esp32项目中：

# 复制模型文件到项目目录
cp models/custom_wakeword/custom_wakeword_wn9_model.nam /data/web/disk1/git_repo/daily_hot/xiaozhi-esp32/main/models/

# 更新模型配置文件
echo "custom_wakeword_wn9_model.nam:我的小智;hey xiaozhi;你好伙伴" >> /data/web/disk1/git_repo/daily_hot/xiaozhi-esp32/main/model_list.txt

2. 代码修改与配置

修改 main/audio_processing/wake_word_detect.cc 中的模型加载逻辑：

void WakeWordDetect::Initialize(int channels, bool reference) {
    // ... 原有代码 ...
    
    srmodel_list_t *models = esp_srmodel_init("model");
    for (int i = 0; i < models->num; i++) {
        ESP_LOGI(TAG, "Model %d: %s", i, models->model_name[i]);
        // 优先使用自定义唤醒词模型
        if (strstr(models->model_name[i], "custom_wakeword") != NULL) {
            wakenet_model_ = models->model_name[i];
            auto words = esp_srmodel_get_wake_words(models, wakenet_model_);
            std::stringstream ss(words);
            std::string word;
            while (std::getline(ss, word, ';')) {
                wake_words_.push_back(word);
            }
            break; // 使用自定义模型后退出循环
        }
    }
    
    // ... 其余配置代码 ...
}

3. 编译参数调整

更新 sdkconfig.defaults 中的相关配置：

CONFIG_ESP_SR_WN_PREFIX="custom_wakeword"
CONFIG_ESP_SR_MODEL_PATH="/main/models"
CONFIG_ESP_SR_WN_MODEL="custom_wakeword_wn9_model"

多语言唤醒词支持

xiaozhi-esp32支持多种语言的唤醒词配置，通过修改语言配置文件实现：

中文唤醒词配置

{
  "wake_words": {
    "zh-CN": ["你好小智", "小智同学", "嗨小智"],
    "en-US": ["hey xiaozhi", "hello xiaozhi", "wake up"],
    "ja-JP": ["こんにちはシャオジー", "シャオジーさん"],
    "ko-KR": ["안녕하세요 샤오즈", "샤오즈 씨"]
  }
}

动态语言切换实现

void Application::SwitchLanguage(const std::string& lang_code) {
    // 加载对应语言的唤醒词配置
    std::string wake_words_file = "/assets/" + lang_code + "/wake_words.json";
    if (FileExists(wake_words_file)) {
        auto wake_words = LoadWakeWordsFromFile(wake_words_file);
        wake_word_detect_.UpdateWakeWords(wake_words);
    }
}

性能优化与调试技巧

唤醒词识别精度优化

优化策略	实施方法	预期效果
数据增强	添加背景噪声、变速处理	提升模型鲁棒性
阈值调整	调整检测置信度阈值	平衡误报和漏报
模型量化	使用8位整数量化	减少内存占用，提升速度
硬件加速	利用ESP32神经网络加速	降低功耗，提升响应速度

调试日志与监控

启用详细的调试日志来监控唤醒词检测过程：

// 在wake_word_detect.cc中添加调试信息
ESP_LOGD(TAG, "Audio frame received: %zu samples", data.size());
ESP_LOGD(TAG, "Wake word confidence: %.2f", res->confidence);
ESP_LOGD(TAG, "Detected wake word: %s", wake_words_[res->wake_word_index - 1].c_str());

常见问题与解决方案

Q1: 唤醒词识别率低怎么办？

A: 增加训练数据多样性，包含不同音调、语速、环境噪声的样本。

Q2: 模型文件太大导致内存不足？

A: 使用模型量化技术，将浮点模型转换为8位整型模型。

Q3: 多唤醒词之间相互干扰？

A: 调整模型阈值，或为每个唤醒词训练独立的二分类模型。

Q4: 如何测试唤醒词效果？

A: 使用ESP-SR提供的测试工具进行离线测试：

python test_wakenet.py \
  --model models/custom_wakeword_wn9_model.nam \
  --test_data test_audio/ \
  --output results.csv

实战案例：为企业定制专属唤醒词

某智能家居公司希望为其产品定制"智能家居"唤醒词，我们按照以下流程实施：

1. 数据收集：录制1000+个"智能家居"语音样本
2. 模型训练：使用ESP-SR工具训练专属模型
3. 集成测试：在真实设备上测试识别效果
4. 优化部署：根据测试结果调整模型参数
5. 批量生产：将模型固化为产品标准配置

最终实现效果：

• 唤醒词识别率达到98.5%
• 响应时间<200ms
• 支持中文、英文双语唤醒

总结与展望

通过本文的详细指导，你已经掌握了在xiaozhi-esp32项目中实现自定义唤醒词的完整流程。从数据准备、模型训练到部署集成，每个环节都有详细的技术方案和实践建议。

自定义唤醒词不仅是技术实现，更是产品差异化的重要途径。随着Edge AI技术的不断发展，未来我们将看到：

• 🤖 更智能的上下文感知：唤醒词与对话内容智能结合
• 🌍 跨语言无缝切换：同一设备支持多种语言唤醒
• ⚡ 极低功耗优化：唤醒词检测功耗降低到微安级别
• 🎯 个性化语音特征：基于声纹识别的个性化唤醒

现在就开始为你的AI助手打造专属的唤醒体验吧！如果你在实施过程中遇到任何问题，欢迎在项目社区中交流讨论。

下一步行动建议：

1. 从简单的单唤醒词开始尝试
2. 逐步增加训练数据多样性
3. 在实际环境中测试和优化
4. 考虑多语言支持的扩展性

记住，好的唤醒词体验是智能硬件成功的第一步。祝你定制出令人惊艳的唤醒体验！