FlorDB 开源项目教程

1. 项目介绍

FlorDB 是一个轻量级的前瞻性日志数据库，旨在简化 AI 和机器学习生命周期中的上下文管理。它通过利用日志记录这一开发者偏好的元数据生成技术，创建了丰富的上下文信息。FlorDB 能够与现有的工作流程无缝集成，无论是基础的自动化工具 Make，复杂的管道系统 Airflow，实验跟踪工具 MLFlow，还是集群管理工具 Slurm，都能与 FlorDB 协同工作。

FlorDB 的目标包括：

• 更快、更灵活的实验：用户可以快速迭代模型训练，并跟踪超参数，而不必担心遗漏任何信息，得益于前瞻性日志记录。
• 更好的可再现性和起源性：通过捕获完整的历程和血统（从代码变更到模型检查点和构建 DAGs），FlorDB 确保工作流程中的每一步都是可追溯和版本化的，使得复制实验、验证结果和保持整个 AI/ML 生命周期的端到端透明度变得容易。
• 长期可维护性：FlorDB 提供了一个单一健壮的系统，用于记录、存储和检索所有所需的上下文/元数据，以便任何人都能管理 AI/ML 项目整个生命周期。

2. 项目快速启动

首先，确保你已经安装了 Python。接下来，可以通过以下命令安装最新稳定版本的 FlorDB：

pip install flordb

如果你是开发者并希望从源代码安装以便贡献或者获取最新特性，可以使用以下步骤：

git clone https://github.com/ucbrise/flor.git
cd flor
pip install -e .

为了保持你的本地副本与最新更改同步，记得定期从仓库中拉取更新：

git pull origin

FlorDB 使用简单，无需定义模式或设置数据库。只需要用一行代码开始记录：

import flor
flor.log("msg", "Hello world!")

你可以使用 Flor Dataframe 读取日志：

import flor
flor.dataframe("msg")

3. 应用案例和最佳实践

以下是如何修改现有的 PyTorch 训练脚本以加入 FlorDB 日志记录的例子：

import flor
import torch

# 定义并记录超参数
hidden_size = flor.arg("hidden", default=500)
batch_size = flor.arg("batch_size", 32)
learning_rate = flor.arg("lr", 1e-3)

# 初始化数据加载器、模型、优化器和损失函数
trainloader: torch.utils.data.DataLoader
testloader: torch.utils.data.DataLoader
optimizer: torch.optim.Optimizer
net: torch.nn.Module
criterion: torch.nn._Loss

# 使用 FlorDB 的检查点管理模型状态
with flor.checkpointing(model=net, optimizer=optimizer):
    for epoch in flor.loop("epoch", range(num_epochs)):
        for data in flor.loop("step", trainloader):
            inputs, labels = data
            optimizer.zero_grad()
            outputs = net(inputs)
            loss = criterion(outputs, labels)
            loss.backward()
            optimizer.step()
            # 记录每个步骤的损失值
            flor.log("loss", loss.item())

# 在测试集上评估模型
eval(net, testloader)

记录超参数：

# 定义并记录超参数
hidden_size = flor.arg("hidden", default=500)
batch_size = flor.arg("batch_size", 32)
learning_rate = flor.arg("lr", 1e-3)
seed = flor.arg("seed", default=randint(1, 10000))
# 设置随机种子以确保可重复性
torch.manual_seed(seed)

从命令行设置超参数：

python train.py --kwargs hidden=250 lr=5e-4

查看实验历史：

import flor
flor.dataframe("hidden", "batch_size", "lr", "loss")

4. 典型生态项目

FlorDB 作为开源项目，可以与其他开源工具和库一起构成强大的生态系统，例如：

• 与 Jupyter Notebook 集成，便于进行交互式数据分析和可视化。
• 结合持续集成/持续部署 (CI/CD) 工具，如 Jenkins 或 GitLab CI，自动化模型训练和测试流程。
• 集成机器学习模型管理工具，如 MLFlow，以跟踪实验和模型版本。

通过这些集成，FlorDB 能够帮助用户构建一个完善、高效的人工智能开发流程。