Google-AI-Edge-Gallery 的项目扩展与二次开发

项目的基础介绍

Google-AI-Edge-Gallery 是一个开源项目，旨在将 Google 的先进生成式人工智能（GenAI）模型带到移动设备上。该项目通过一个实验性应用，让用户能够在完全离线的情况下，体验和评估在设备上运行的 GenAI 模型。目前支持 Android 设备，iOS 版本也在开发中。

项目的核心功能

• 完全离线运行：所有模型的处理都在用户设备上完成，无需网络连接。
• 模型选择：用户可以轻松切换不同的模型，并比较它们的性能。
• Ask Image：上传图片并提出问题，获得描述、解决问题或识别对象。
• Prompt Lab：使用单次转接的大型语言模型（LLM）进行总结、改写、生成代码或使用自由形式提示。
• AI Chat：进行多轮对话。
• 性能洞察：实时显示性能指标（TTFT、解码速度、延迟）。
• 自定义模型测试：测试本地 LiteRT.task 模型。
• 开发者资源：快速链接到模型卡片和源代码。

项目使用了哪些框架或库？

• Google AI Edge：提供核心 API 和工具，用于设备上的机器学习。
• LiteRT：轻量级运行时，用于优化模型执行。
• LLM Inference API：支持设备上大型语言模型的推断。
• Hugging Face：用于模型的发现和下载。

项目的代码目录及介绍

项目的代码目录结构如下：

• .github/：包含 Issue 模板和贡献指南。
• Android/：存放 Android 应用的代码。
• .gitignore：定义了 Git 忽略的文件。
• CONTRIBUTING.md：贡献者指南。
• LICENSE：项目许可证文件。
• README.md：项目说明文件。
• model_allowlist.json：模型允许列表文件。

对项目进行扩展或者二次开发的方向

1. 增加新的模型支持：可以根据需求集成更多 Hugging Face 或其他来源的模型，丰富应用的功能。
2. 优化用户体验：改进用户界面和交互设计，使其更加直观和友好。
3. 扩展功能模块：根据用户反馈和市场调研，添加新的功能模块，如图像编辑、自然语言处理等。
4. 跨平台支持：完成 iOS 版本的研发，实现真正的跨平台使用。
5. 性能优化：对现有模型和算法进行优化，提高运行效率，减少资源消耗。
6. 社区共建：鼓励开发者参与，共同完善项目，形成良好的开源社区生态。