Queryable 项目教程

1. 项目介绍

Queryable 是一个开源的 iOS 应用程序，利用 OpenAI 的 CLIP 模型和 Apple 的 MobileCLIP 模型，在用户的照片库中进行离线搜索。与 iOS 照片应用内置的基于类别的搜索模型不同，Queryable 允许用户使用自然语言描述（如“一只棕色的狗坐在长椅上”）来搜索他们的照片库。由于搜索过程完全离线，用户的照片隐私不会受到任何公司（包括 Apple 或 Google）的侵犯。

主要功能

• 自然语言搜索：用户可以使用自然语言描述来搜索照片。
• 离线处理：所有搜索操作都在本地进行，保护用户隐私。
• 多模型支持：支持 OpenAI 的 CLIP 模型和 Apple 的 MobileCLIP 模型。

2. 项目快速启动

环境准备

• Xcode 开发环境
• 下载 CLIP 模型文件（可以从 Google Drive 获取）

快速启动步骤

1. 克隆项目

   git clone https://github.com/mazzzystar/Queryable.git
   

2. 下载模型文件 从 Google Drive 下载 TextEncoder_mobileCLIP_s2.mlmodelc 和 ImageEncoder_mobileCLIP_s2.mlmodelc 文件，并将它们放置在项目目录下的 CoreMLModels/ 路径中。

3. 打开项目 使用 Xcode 打开项目文件 Queryable.xcodeproj。

4. 运行项目 在 Xcode 中选择合适的模拟器或设备，点击运行按钮（或按 Cmd + R）启动应用。

示例代码

以下是一个简单的示例代码，展示如何在应用中加载和使用 CLIP 模型进行搜索：

import CoreML

// 加载模型
let textEncoder = try! TextEncoder_mobileCLIP_s2(configuration: MLModelConfiguration())
let imageEncoder = try! ImageEncoder_mobileCLIP_s2(configuration: MLModelConfiguration())

// 编码文本查询
let query = "一只棕色的狗坐在长椅上"
let textVector = try! textEncoder.prediction(text: query).features

// 编码照片
let imageVector = try! imageEncoder.prediction(image: inputImage).features

// 计算相似度
let similarity = cosineSimilarity(textVector, imageVector)

// 输出结果
print("相似度: \(similarity)")

3. 应用案例和最佳实践

应用案例

• 个人照片管理：用户可以使用自然语言描述快速找到特定场景或对象的照片。
• 隐私保护：由于所有操作都在本地进行，用户的照片隐私得到充分保护。

最佳实践

• 模型优化：根据用户需求，可以选择不同的 CLIP 模型版本（如 s1, s2）以平衡效率和精度。
• 多语言支持：通过调整模型和输入处理，可以支持多种语言的搜索。

4. 典型生态项目

相关项目

• PicQuery (Android)：由 @greyovo 开发的 Android 版本，支持英语和中文搜索。
• Searchable (macOS)：由 yujinqiu 开发的 macOS 版本，支持全盘搜索。

生态整合

• 跨平台支持：通过开源社区的努力，Queryable 项目正在逐步扩展到多个平台，提供一致的用户体验。
• 模型共享：不同平台的模型文件可以共享，减少重复工作，提高开发效率。

---

通过本教程，您应该能够快速上手 Queryable 项目，并在实际应用中发挥其强大的搜索功能。