ai-iris-avatar 的项目扩展与二次开发

项目的基础介绍

ai-iris-avatar 是一个开源项目，它通过结合大型语言模型（LLM）、文本转语音（TTS）、Unity 游戏引擎和唇语同步技术，实现了一个可以与用户进行对话的详细 3D 虚拟角色。该项目旨在为用户提供一个可定制、响应迅速的交互体验，适用于多种场景，如在线教育、虚拟助手、娱乐互动等。

项目的核心功能

• 本地运行：项目可以在用户的硬件上本地运行，无需互联网连接。
• 高度可配置：用户可以自由切换语言模型、语音、3D 模型等。
• 多模型支持：支持多种大型语言模型，并允许使用未经审查的模型。
• 快速响应：使用流式传输和 DeepSpeed，响应时间小于 4 秒。
• Unity 引擎：利用 Unity 强大的游戏引擎能力，实现复杂的交互和动画效果。
• 唇语同步：自动同步语音和嘴型，提升角色对话的自然度。
• 3D 骨骼动画：根据不同的状态播放不同的动画效果。
• 远程事件触发：通过浏览器按钮远程触发粒子效果等事件。

项目使用了哪些框架或库？

• 大型语言模型（LLM）：如 gemma:2b-instruct。
• 文本转语音（TTS）：如 XTTS v2.0。
• Unity 游戏引擎：用于角色渲染和动画。
• Oculus Lipsync：用于唇语同步。
• Whisper：可选的语音识别库。

项目的代码目录及介绍

项目的代码目录结构大致如下：

• server：包含 Python 服务器代码，处理用户输入并生成语音响应。
• unity-project：Unity 项目文件夹，包含角色的 3D 模型和交互逻辑。
• .gitignore：指定 Git 忽略的文件和目录。
• INSTALL_AND_USAGE.md：项目的安装和使用说明。
• LICENSE.md：项目的开源协议。
• README.md：项目的详细说明。
• config.example.yaml：配置文件的示例。
• config_xtts.yaml：文本转语音的配置文件。
• main.py：项目的主 Python 脚本。
• makefile：构建项目使用的 Makefile 文件。
• requirements.txt：项目依赖的 Python 库。
• xtts_scripts.py：文本转语音相关的 Python 脚本。

对项目进行扩展或者二次开发的方向

• 增加新的交互功能：例如，集成手势识别或面部表情识别，让角色能够更加自然地与用户互动。
• 扩展知识库：为大型语言模型添加更多定制化的知识库，使其能够回答更多专业或特定领域的问题。
• 优化性能：针对不同硬件进行优化，提高运行效率和响应速度。
• 跨平台支持：将 Unity 项目转换为支持移动设备的版本，扩大用户群体。
• 集成更多语音模型：支持更多种类的语音模型，提供更多语言和口音的选择。
• 增加新的动画效果：利用 Unity 的动画系统，增加更多有趣的动画效果，提升视觉效果。

通过这些扩展和二次开发的方向，ai-iris-avatar 项目将能够更好地满足用户的需求，成为一个更加完善和强大的开源虚拟角色交互平台。