多模态语音情绪识别与歧义解决：轻量级模型的挑战

概览

多模态语音情绪识别是音频处理领域一个复杂且富有挑战的任务，因为情感本身的定义就充满了歧义。在这个项目中，我们构建了轻量级的多模态机器学习模型，并将其与较重且解释性较差的深度学习模型进行了比较。在构建这两种类型的模型时，我们都从给定的音频信号中提取手工特征。实验结果显示，轻量级模型在某些情况下甚至可以超越深度学习基线，达到IEMOCAP数据集上的最新最优性能。

我们训练的模型包括：

1. 基于机器学习（ML）的：逻辑回归、支持向量机、随机森林、极端梯度提升和多项式朴素贝叶斯。
2. 基于深度学习（DL）的：多层感知机和LSTM分类器。

该项目是在滑铁卢大学的Richard Mann教授开设的计算机音频课程（CS 698）中作为课程项目进行的。如需更详细的说明，请查阅报告。

数据集

本工作中的所有实验都基于IEMOCAP数据集。有关数据预处理的详细信息，敬请参考报告。

环境要求

所有的实验都在以下库的环境下测试：

• xgboost==0.82
• torch==1.0.1.post2
• scikit-learn==0.20.3
• numpy==1.16.2
• jupyter==1.0.0
• pandas==0.24.1
• librosa==0.7.0

建议创建一个新的Python虚拟环境来安装这些依赖项。在新环境中运行pip install -r requirements.txt即可。

运行代码指南

1. 使用命令git clone [e-mail]:Demfier/multimodal-speech-emotion-recognition克隆此仓库。
2. 执行cd multimodal-speech-emotion-recognition/进入项目根目录。
3. 启动Jupyter Notebook，执行jupyter notebook。
4. 运行1_extract_emotion_labels.ipynb以从转录文本中提取标签并准备其他所需数据到CSV文件。
5. 运行2_build_audio_vectors.ipynb从原始wav文件构建矢量并保存为pickle文件。
6. 运行3_extract_audio_features.ipynb从音频矢量中提取8维音频特征向量。
7. 运行4_prepare_data.ipynb对音频和视频数据进行预处理和准备。
8. 首先训练LSTMClassifier以便与其他模型进行比较：
   • 根据需要修改config.py配置文件（例如，如果要训练语音2情感分类器，修改lstm_classifier/s2e/config.py）。对训练文本2情感（t2e）和文本+语音2情感（combined）分类器的操作类似。
   • 在lstm_classifier/{exp_mode}下运行python lstm_classifier.py训练LSTM分类器（可能的exp_mode值：s2e/t2e/combined）。
9. 运行5_audio_classification.ipynb训练基于音频的机器学习分类器。
10. 运行5.1_sentence_classification.ipynb训练基于文本的机器学习分类器。
11. 运行5.2_combined_classification.ipynb训练基于音频+文本的机器学习分类器。

**注意：**确保在笔记本书中指定正确的模型路径，目前不是完全相对的，需要一些重构。

**更新：**可从此处下载预处理后的数据文件以跳过步骤4-7: https://www.dropbox.com/scl/fo/jdzz2y9nngw9rxsbz9vyj/h?rlkey=bji7zcqclusagzfwa7alm59hx&dl=0

结果

已报告不同实验的准确率、F1得分、精确率和召回率。

音频

模型	准确率	F1	精确率	召回率
RF	56.0	56.0	57.2	57.3
XGB	55.6	56.0	56.9	56.8
SVM	33.7	15.2	17.4	21.5
MNB	31.3	9.1	19.6	17.2
LR	33.4	14.9	17.8	20.9
MLP	41.0	36.5	42.2	35.9
LSTM	43.6	43.4	53.2	40.6
ARE (4类)	56.3	-	54.6	-
E1 (4类)	56.2	45.9	67.6	48.9
E1	56.6	55.7	57.3	57.3

E1: 集成（RF + XGB + MLP）

文本

模型	准确率	F1	精确率	召回率
RF	62.2	60.8	65.0	62.0
XGB	56.9	55.0	70.3	51.8
SVM	62.1	61.7	62.5	63.5
MNB	61.9	62.1	71.8	58.6
LR	64.2	64.3	69.5	62.3
MLP	60.6	61.5	62.4	63.0
LSTM	63.1	62.5	65.3	62.8
TRE (4类)	65.5	-	63.5	-
E1 (4类)	63.1	61.4	67.7	59.0
E2	64.9	66.0	71.4	63.2

E2: 集成（RF + XGB + MLP + MNB + LR） E1: 集成（RF + XGB + MLP）

音频 + 文本

模型	准确率	F1	精确率	召回率
RF	65.3	65.8	69.3	65.5
XGB	62.2	63.1	67.9	61.7
SVM	63.4	63.8	63.1	65.6
MNB	60.5	60.3	70.3	57.1
MLP	66.1	68.1	68.0	69.6
LR	63.2	63.7	66.9	62.3
LSTM	64.2	64.7	66.1	65.0
MDRE (4类)	75.3	-	71.8	-
E1 (4类)	70.3	67.5	73.2	65.5
E2	70.1	71.8	72.9	71.5

更多详细信息，请参阅报告。

引用

如果你发现这个工作有价值，请引用：

@article{sahu2019multimodal,
  title={多模态语音情绪识别与歧义解决},
  author={Sahu, Gaurav},
  journal={arXiv preprint arXiv:1904.06022},
  year={2019}
}

推荐理由：

这款开源项目提供了一种新颖的策略，即使用轻量级机器学习模型在多模态情感识别任务中挑战深度学习。对于资源有限或对可解释性有特殊需求的开发者来说，这是一个绝佳的选择。此外，它提供了一个详尽的工作流程，方便研究者理解并复现实验结果。通过集成多个模型，系统整体性能得到了显著提升，这为未来的情感分析研究提供了宝贵的见解。

这个项目的另一个亮点在于其使用了广泛认可的IEMOCAP数据集，使得任何后续研究都可以直接与现有的标准进行对比。不论是学术研究人员还是工业界的实践者，都能从中受益，提高他们的情感识别解决方案。

总之，如果你正在寻找一种高效、灵活并且易于实施的情绪识别方法，那么这款开源项目绝对值得你的关注和使用。