Pluto 项目使用教程

1. 项目目录结构及介绍

Pluto 是一个用于生成合成数据的库，以供大型语言模型（LLM）的微调使用。以下是项目的目录结构及各部分的简要介绍：

pluto/
├── data/             # 存放数据文件
├── images/           # 存放项目相关的图片文件
├── pluto/            # Pluto 库的源代码
├── LICENSE           # Apache-2.0 许可文件
├── README.md         # 项目说明文件
├── example.py        # 示例脚本，展示如何使用 Pluto
├── requirements.txt  # 项目依赖的 Python 包列表
├── setup.py          # 设置文件，用于打包和安装 Pluto 库

• data/: 存储项目使用的数据文件。
• images/: 存储与项目相关的图片或图表。
• pluto/: 包含 Pluto 库的源代码，包括数据生成引擎和相关的工具。
• LICENSE: Apache-2.0 许可证文件，说明了项目的版权和使用条款。
• README.md: 包含项目的基本信息和如何使用 Pluto 的指南。
• example.py: 提供了如何使用 Pluto 库生成数据的示例。
• requirements.txt: 列出了项目所依赖的 Python 包。
• setup.py: 用于安装和分发 Pluto 库的 Python 包设置文件。

2. 项目的启动文件介绍

项目的启动文件是 example.py，它是一个简单的 Python 脚本，展示了如何使用 Pluto 库来生成数据。以下是一个简单的示例代码片段：

from pluto import EngineArguments, DataEngine, Dataset, TopicTree, TopicTreeArguments

# 创建一个 TopicTree 实例，用于生成主题树
tree = TopicTree(
    args=TopicTreeArguments(
        root_prompt="Functionalities of numpy",
        model_system_prompt="You are a helpful AI coding assistant...",
        tree_degree=10,
        tree_depth=2
    )
)

# 生成主题树
tree.build_tree("gpt-3.5-turbo-1106")
tree.save("numpy_topictree.jsonl")

# 创建一个 DataEngine 实例，用于生成数据
engine = DataEngine(
    args=EngineArguments(
        instructions="Please specifically provide training examples...",
        system_prompt="You are a helpful AI coding assistant..."
    )
)

# 使用主题树生成数据
dataset = engine.create_data(
    model_name="gpt-4-1106-preview",
    num_steps=20,
    batch_size=5,
    topic_tree=tree
)

# 保存生成的数据
dataset.save("output_with_topictree.jsonl")

3. 项目的配置文件介绍

在 Pluto 项目中，主要的配置文件是 requirements.txt 和 setup.py。

• requirements.txt 文件列出了项目运行所依赖的 Python 包，例如：

numpy
requests

• setup.py 文件用于定义 Pluto 库的元数据和安装过程。以下是一个简化的示例：

from setuptools import setup, find_packages

setup(
    name='pluto',
    version='0.1.0',
    packages=find_packages(),
    install_requires=[
        'numpy',
        'requests',
    ],
    # 其他元数据...
)

这个文件定义了 Pluto 库的名称、版本、包含的包、安装依赖等。通过运行 pip install . 命令，可以安装 Pluto 库及其依赖项。