Wav2Lip UHQ 使用教程

1. 项目介绍

Wav2Lip UHQ 是一个开源项目，基于 Automatic1111 的 Stable Diffusion WebUI 扩展。它通过特定的后处理技术，提高了 Wav2Lip 工具生成的唇同步视频的质量。该项目允许用户选择视频和语音文件（wav 或 mp3 格式），然后生成唇同步视频。

2. 项目快速启动

环境准备

• 安装最新版本的 Stable Diffusion WebUI Automatic1111。
• 下载并安装 FFmpeg，确保可以从命令行访问。

安装

1. 启动 Automatic1111。
2. 在扩展页面中，使用“从 URL 安装”功能，输入以下 URL 并点击“安装”。
3. 在“已安装”标签中，点击“应用并退出”。
4. 如果没有看到“Wav2Lip UHQ”标签，请重新启动 Automatic1111。

配置模型权重

从以下链接下载模型权重，并将其放置在相应的目录中（注意文件名，特别是 s3fd）：

• Wav2Lip: 下载链接，放置在 extensions\sd-wav2lip-uhq\scripts\wav2lip\checkpoints\
• Wav2Lip + GAN: 下载链接，放置在 extensions\sd-wav2lip-uhq\scripts\wav2lip\checkpoints\
• s3fd: 下载链接，放置在 extensions\sd-wav2lip-uhq\scripts\wav2lip\face_detection\detection\sfd\s3fd.pth
• landmark predicator: 下载链接，放置在 extensions\sd-wav2lip-uhq\scripts\wav2lip\predicator\shape_predictor_68_face_landmarks.dat

使用

1. 选择一个包含人脸的视频（avi 或 mp4 格式）。
2. 如果需要，选择一个用于人脸交换的图像。
3. 选择语音文件或使用 bark 语音合成。
4. 配置 bark 的相关选项，如语言、性别、说话人等。
5. 在文本区域中输入文本提示。
6. 选择一个检查点。
7. 根据需要调整其他设置，如填充、是否平滑、视频大小调整等。
8. 开始生成唇同步视频。

3. 应用案例和最佳实践

• 人脸交换：使用项目内置的人脸交换功能，可以为视频中的角色更换不同的面孔。
• 语音克隆：通过语音克隆功能，可以复制视频中的声音，用于其他视频的配音。
• 视频翻译：结合语音克隆，可以实现视频内容的翻译和语音匹配。

4. 典型生态项目

Wav2Lip UHQ 作为 Stable Diffusion WebUI 的扩展，可以与其他开源项目结合使用，例如：

• 语音识别：结合语音识别技术，自动生成视频中的语音脚本。
• 视频编辑：使用视频编辑工具，对生成的唇同步视频进行进一步的剪辑和调整。