os1 的项目扩展与二次开发

项目的基础介绍

os1 项目是一个轻量级的开源项目，旨在复现电影《Her》中 OS1/Samantha 的体验，用户可以在浏览器中与 AI 进行语音对话。项目使用了多种 AI 模型，实现了语音识别、语音合成、记忆存储等功能，所有数据处理和模型运算都在本地进行，保证了用户的隐私。

项目的核心功能

• 语音到文本的对话：使用 onnx-community/ultravox-v0_5-llama-3_2-1b-ONNX 模型，支持音频和文本输入，实现了语音直接驱动 LLM 的对话流程。
• 并行转录：使用 whisper-base 模型并行转录用户的语音，用于屏幕显示和记忆存储。
• 客户端记忆存储：通过浏览器 IndexedDB 存储用户与助手之间的交互，自动检索相关记忆并注入到 LLM 的系统提示中。
• 本地化和隐私保护：所有对话数据、记忆存储和 AI 模型处理都在用户本地机器上完成，不涉及外部服务器。
• 欢迎问候：根据用户是否是新访问，提供不同的问候语，尝试回忆用户的名字。

项目使用了哪些框架或库？

• 前端框架：React, Vite, TypeScript, Tailwind CSS
• 核心 LLM 和音频输入：onnx-community/ultravox-v0_5-llama-3_2-1b-ONNX
• 语音到文本（显示/记忆）：onnx-community/whisper-base
• 文本到语音：hexgrad/Kokoro-82M
• 记忆存储（嵌入）：sentence-transformers/all-MiniLM-L6-v2
• 记忆：浏览器内向量存储

项目的代码目录及介绍

• src：源代码目录，包含前端界面、逻辑处理等。
• public：公共文件目录，包含静态资源如 HTML 文件、图片等。
• models：模型文件目录，包含了项目中使用到的各种预训练模型。
• tsconfig.json：TypeScript 配置文件，定义了项目的编译配置。
• vite.config.ts：Vite 配置文件，用于配置开发服务器和打包选项。

对项目进行扩展或者二次开发的方向

1. 增加新的功能模块：例如，增加图像识别、自然语言处理等新的 AI 功能。
2. 优化用户体验：改善界面设计，增强交互体验，提高语音识别和合成的准确性。
3. 扩展模型功能：使用更先进的模型或自定义模型来提升对话的质量和流畅度。
4. 多语言支持：增加对多种语言的支持，使项目能够服务于更多用户。
5. 性能优化：优化模型的加载和运行效率，减少资源消耗，提升响应速度。