os1 项目亮点解析

项目基础介绍

os1 是一个开源项目，旨在在浏览器中本地运行，重现电影《Her》中的 OS1/Samantha 人工智能体验。该项目使用了多种 AI 模型，包括用于语音识别、文本生成、语音合成和内存存储的模型。用户可以通过语音与 AI 进行交互，所有数据处理和模型运行都在本地进行，保证了隐私和安全性。

项目代码目录及介绍

项目的代码目录结构如下：

• public/: 存放公共资源，如 HTML 文件。
• src/: 源代码目录，包含 TypeScript、JavaScript 文件以及 CSS 样式。
• .gitignore: 指定 Git 忽略的文件。
• LICENSE: 项目使用的 Apache-2.0 许可文件。
• README.md: 项目说明文件。
• components.json: 组件配置文件。
• eslint.config.js: ESLint 配置文件。
• package.json: 项目依赖和脚本配置。
• tsconfig*.json: TypeScript 配置文件。

项目亮点功能拆解

1. 语音到文本的交互：项目使用 onnx-community/ultravox-v0_5-llama-3_2-1b-ONNX 模型，支持直接将语音输入处理为文本，然后交由核心语言模型处理。

2. 并行转录：在语音直接驱动 LLM 的同时，whisper-base 模型并行运行，用于将语音转录为文本，以便显示和存储。

3. 客户端内存存储：使用 IndexedDB 存储用户与助手的交互，自动检索和注入相关记忆到 LLM 的系统提示中。

4. 本地和隐私：所有对话数据、内存存储和 AI 模型处理（包括 LLM、STT、TTS、嵌入）都在本地机器上进行。

5. 小体积占用：首次启动时需要下载约 2GB 的模型，但之后会缓存以供后续使用。

6. 主动问候：根据用户是否是首次访问，以不同的方式欢迎用户，并尝试回忆用户之前提到的名字。

项目主要技术亮点拆解

1. 前端技术：使用 React、Vite、TypeScript 和 Tailwind CSS 构建用户界面。

2. 模型集成：集成了多个 ONNX 模型，包括用于核心语言模型、语音识别、文本到语音和内存存储的模型。

3. 内存存储技术：使用基本的余弦相似度搜索，在浏览器中实现向量存储。

4. 交互流程设计：设计了详细的交互流程，包括语音输入、文本转录、上下文构建、LLM 处理和 TTS 生成。

与同类项目对比的亮点

1. 本地化运行：与其他需要依赖服务器处理的 AI 交互项目不同，os1 完全在本地运行，保证了用户隐私。

2. 内存存储：os1 使用了浏览器内置的 IndexedDB，不需要额外的服务器支持，简化了部署和运行。

3. 模型选择：os1 使用了多个轻量级模型，确保了在小体积占用的同时，提供流畅的交互体验。

4. 交互体验：项目提供了主动问候和记忆功能，使交互更加自然和人性化。