【亲测免费】 Chaplin：实时唇语识别工具

在语音识别技术飞速发展的今天，一款名为Chaplin的开源工具引起了广泛关注。它能够实时读取用户的唇语，并将无声口型的文字实时显示出来。下面，我们将详细了解Chaplin的核心功能、技术分析、应用场景和特点。

项目介绍

Chaplin是一款基于视觉语音识别（VSR）的实时唇语识别工具。它能够分析用户的唇部动作，并将无声口型转换为文字。整个处理过程完全在本地进行，无需依赖网络，保证了数据的私密性和实时性。

项目技术分析

Chaplin依赖于Auto-AVSR项目中的预训练模型，该模型基于Lip Reading Sentences 3数据集进行训练。通过这一模型，Chaplin能够准确识别多种语言的唇语。项目技术架构主要包括以下几个方面：

• 模型训练：使用Lip Reading Sentences 3数据集对模型进行训练。
• 实时识别：利用MediaPipe库进行唇部检测，并将检测结果传递给模型进行识别。
• 本地运行：所有处理过程都在本地完成，保证了数据的安全性和实时性。

项目及技术应用场景

Chaplin的应用场景广泛，以下是一些典型的使用场景：

1. 辅助交流：对于听障人士，Chaplin可以作为一种有效的辅助交流工具，帮助他们更好地理解和交流。
2. 隐私保护：在需要保护隐私的场合，如会议室、图书馆等，用户可以通过口型输入文字，避免声音干扰。
3. 远程教学：教师在远程教学过程中，可以使用Chaplin实时转换学生的唇语，提高教学效果。
4. 智能助手：将Chaplin集成到智能助手中，为用户提供更加丰富的交互方式。

项目特点

Chaplin具有以下显著特点：

1. 实时性：Chaplin能够实时读取唇语，并快速转换为文字，为用户提供即时的反馈。
2. 本地化：所有处理过程都在本地完成，无需依赖网络，保证了数据的私密性和安全性。
3. 易用性：用户只需简单的设置和操作，即可使用Chaplin进行唇语识别。
4. 多语言支持：Chaplin支持多种语言，为不同用户提供了便利。

以下是Chaplin的安装和使用方法：

安装

1. 克隆仓库并进入目录：

   git clone https://github.com/amanvirparhar/chaplin
   cd chaplin
   

2. 下载必要的模型组件：LRS3_V_WER19.1和lm_en_subword，并将其解压到相应目录。

3. 安装并运行ollama，并导入llama3.2模型。

4. 安装uv。

使用

1. 运行以下命令启动程序：

   sudo uv run --with-requirements requirements.txt --python 3.12 main.py config_filename=./configs/LRS3_V_WER19.1.ini detector=mediapipe
   

2. 按下Mac的option键或Windows/Linux的alt键开始“录制”，并开始口型输入文字。

3. 再次按下相同的键停止录制，此时会看到文字被输入到光标所在位置。

4. 按下q键退出程序。

总之，Chaplin作为一款实时唇语识别工具，以其实时性、本地化、易用性和多语言支持等特点，在多个领域具有广泛的应用潜力。如果您需要一款高效的唇语识别工具，Chaplin将是一个不错的选择。