ragrabbit 的项目扩展与二次开发

项目的基础介绍

ragrabbit 是一个开源的自托管网站 AI 搜索和 LLM.txt 生成项目。它旨在为网站提供即时搜索功能和嵌入式的 AI 聊天代理。ragrabbit 使用了先进的自然语言处理技术，能够爬取和索引网站内容，生成结构化的 LLM.txt 文件，并通过 MCP 服务器支持与多种 AI 客户端集成。

项目的核心功能

• AI 聊天代理和即时搜索：ragrabbit 提供了一个可嵌入的 AI 聊天代理和搜索输入框，可以轻松集成到任何网站中。
• 网站爬虫：项目内置了网站爬虫功能，可以递归地爬取和索引网页内容。
• LLM.txt 生成：支持生成自定义的 LLM.txt 文件，并可以重新排序目录。
• MCP 服务器：允许任何支持的 AI 客户端通过语义搜索检索文档页面。

项目使用了哪些框架或库？

• Next.js：用于构建服务端渲染的 React 应用程序。
• Turborepo：用于管理 mono-repo 的工具，使得项目结构更加清晰。
• Llamaindex：用于构建索引和进行语义搜索的自然语言处理库。
• pgVector：PostgreSQL 的扩展，用于向量和语义搜索。
• Auth.js：用于处理身份验证的库。
• Drizzle ORM：用于数据库操作的 ORM 库。

项目的代码目录及介绍

项目的目录结构如下：

RagRabbit/
├── apps/
│   ├── docs/ -> 文档站点
│   ├── saas/ -> 主应用程序
│   └── web/ -> 网站
├── packages/
│   ├── db/ -> 数据库和 Drizzle ORM
│   ├── auth/ -> 身份验证相关
│   ├── core/ -> 核心工具
│   ├── design/ -> 设计系统
│   ├── rag/ -> LLM 和 RAG 包
│   ├── jobs/ -> 任务运行器
│   └── storybook/ -> Next.js 故事书应用
└── .cursorrules -> 精细调整的 Cursor 规则

对项目进行扩展或者二次开发的方向

1. 扩展核心功能：可以根据需要添加新的自然语言处理模型或集成其他 AI 服务，提升搜索和聊天功能。
2. 自定义界面和交互：基于现有的设计系统，可以定制化界面和交互体验，更好地融入不同的网站设计中。
3. 多语言支持：为项目添加多语言支持，使其能够服务于不同语言的用户。
4. 集成第三方服务：例如集成第三方地图服务、数据分析工具等，丰富应用的功能。
5. 性能优化：对搜索和索引算法进行优化，提高处理大量数据的能力和响应速度。
6. 安全性增强：加强用户认证和权限管理，确保数据安全和隐私保护。