gallery 的项目扩展与二次开发

项目的基础介绍

gallery 是由 Google AI Edge 团队开发的一个开源项目，它旨在展示在设备端运行的机器学习和生成式 AI 用例，并允许用户在本地尝试和使用模型。该项目通过一个实验性的应用程序，将前沿的生成式 AI 模型的能力直接交到用户手中，用户可以在没有互联网连接的情况下，在 Android 和 iOS 设备上体验这些模型。

项目的核心功能

• 离线运行：所有处理都在用户设备上直接进行，无需互联网连接。
• 模型选择：用户可以轻松切换不同来自 Hugging Face 的模型，并比较它们的性能。
• 问图功能：用户可以上传图片并针对图片提出问题，获取描述、解决问题或识别物体。
• 提示实验室：使用单次转接的大型语言模型进行总结、重写、生成代码或使用自由形式的提示。
• AI 聊天：进行多轮对话。
• 性能洞察：实时性能基准（TTFT、解码速度、延迟）。
• 自定义模型测试：测试用户本地的 LiteRT .task 模型。
• 开发者资源：快速链接到模型卡片和源代码。

项目使用了哪些框架或库？

gallery 项目主要使用了以下框架和库：

• Google AI Edge：核心 API 和工具，用于设备端机器学习。
• LiteRT：轻量级运行时，用于优化模型执行。
• LLM Inference API：用于设备端大型语言模型的推理。
• Hugging Face：用于模型发现和下载。

项目的代码目录及介绍

项目的代码目录结构大致如下：

gallery/
├── Android/                   # Android 平台相关代码
├── .gitignore                 # Git 忽略文件列表
├── CONTRIBUTING.md            # 贡献指南
├── LICENSE                    # 项目许可证文件
├── README.md                  # 项目介绍文件
├── model_allowlist.json       # 模型允许列表
├── ...                        # 其他相关文件和目录

• Android/：包含 Android 平台的应用代码。
• .gitignore：指定 Git 忽略跟踪的文件和目录。
• CONTRIBUTING.md：提供如何为项目做贡献的指南。
• LICENSE：Apache 2.0 许可证文件。
• README.md：项目介绍和说明文档。
• model_allowlist.json：定义允许使用的模型列表。

对项目进行扩展或者二次开发的方向

1. 增加更多模型：可以集成更多的生成式 AI 模型，以提供更丰富的功能。
2. 跨平台支持：虽然目前支持 Android，但可以扩展到 iOS 平台，或者尝试其他操作系统。
3. 用户界面优化：改进用户界面设计，提高用户体验。
4. 性能优化：针对特定设备进行优化，提高模型的运行速度和效率。
5. 社区合作：鼓励开源社区贡献新的模型和功能，共同推动项目的发展。
6. 文档完善：完善项目的文档，包括用户手册、开发者指南等，以帮助更多的人使用和开发。