AubAI 开源项目教程

1. 项目介绍

AubAI 是一个基于 Flutter/Dart 的开源项目，旨在为应用程序提供设备上的生成式人工智能（gen-AI）功能。AubAI 利用了 llama.cpp 库，这是一个 C++ 库，允许在设备上运行 AI 模型。AubAI 具有快速、轻量级和开源的特点，适用于多种平台，包括 macOS、Windows、Linux、Android 和 iOS。

AubAI 的主要功能包括：

• 文本生成：利用先进的语言模型进行流畅的文本生成，提升用户体验。
• 跨平台兼容性：支持多种操作系统，确保在不同平台上的无缝操作。
• 用户友好设计：简化集成过程，使复杂的 AI 功能对所有开发者都易于访问。

2. 项目快速启动

2.1 安装依赖

首先，确保你已经安装了 Flutter 和 Dart SDK。然后，在你的项目中添加 AubAI 依赖：

dependencies:
  aub_ai: ^1.0.0

运行以下命令安装依赖：

flutter pub get

2.2 导入包

在你的 Dart 代码中导入 AubAI 包：

import 'package:aub_ai/aub_ai.dart';

2.3 使用 AubAI

以下是一个简单的示例，展示如何使用 AubAI 进行文本生成：

void main() async {
  // 确保模型文件是 GGUF 格式
  const String filePath = 'path/to/model.gguf';
  
  // 用户提供的提示
  const String promptByUser = '为什么天空是蓝色的？';
  
  // 预定义的提示模板
  final promptTemplate = PromptTemplate.chatML().copyWith(
    prompt: promptByUser,
  );
  
  // 主要函数，执行所有魔法
  await talkAsync(
    filePathToModel: filePath,
    promptTemplate: promptTemplate,
    onTokenGenerated: (String token) {
      // 每次生成一个 token 时调用此回调
      // 一个 token 可以看作是一个部分单词，例如 "hel" 和 "lo"
      print(token);
    },
  );
}

3. 应用案例和最佳实践

3.1 文本生成

AubAI 可以用于生成各种类型的文本，例如：

• 聊天机器人：通过生成自然语言回复，提升聊天机器人的交互体验。
• 内容创作：自动生成文章、博客或其他类型的内容。

3.2 跨平台应用

由于 AubAI 的跨平台兼容性，开发者可以轻松地将 AI 功能集成到不同平台的应用程序中，例如：

• 移动应用：在 Android 和 iOS 应用中集成 AI 功能。
• 桌面应用：在 macOS 和 Windows 应用中集成 AI 功能。

4. 典型生态项目

4.1 shady.ai

shady.ai 是一个消费者导向的应用程序，使用 AubAI 在本地运行 AI 模型。这个应用程序展示了 AubAI 的功能，并使 AI 对大众更加易于访问。

4.2 llama.cpp

llama.cpp 是一个 C++ 库，允许在设备上构建和运行 AI 模型。AubAI 利用了这个库，使其能够在 Flutter 项目中轻松使用。

通过以上步骤，你可以快速启动并使用 AubAI 项目，并将其集成到你的应用程序中。