SplitwiseSim：一种LLM服务集群模拟器

1. 项目介绍

SplitwiseSim 是一个离散事件模拟器，用于评估大型语言模型（LLM）推理集群中的模型服务。该项目旨在评估 Splitwise 技术，这是一种将 LLM 推理阶段跨不同机器分割的推理服务技术。SplitwiseSim 可以轻松扩展到其他应用程序和用例。

2. 项目快速启动

要开始使用 SplitwiseSim，请按照以下步骤安装其 Python 依赖项。建议从创建一个新的 Python 环境开始。

# 创建并激活新的 Python 环境
conda create -n splitwise-sim python=3.11
conda activate splitwise-sim

# 安装依赖
pip install -r requirements.txt

请注意，SplitwiseSim 仅在 Python 3.11 上进行了测试。但是，它很可能也适用于其他 Python 版本。

3. 应用案例和最佳实践

快速启动脚本

最简单的启动 SplitwiseSim 的方式是运行 run.py，它使用 config.yaml 中指定的默认配置参数。可以通过使用 Hydra 覆盖默认配置来运行不同的配置。

下面是一个示例脚本 scripts/run_baseline_h_example.sh，它覆盖了默认配置以执行一个简单的 Baseline-H100 配置，该配置使用单个 DGX-H100 服务器。

# 运行简单的 Baseline-H100 示例
./scripts/run_baseline_h_example.sh

配置文件

SplitwiseSim 使用分层 YAML 配置文件作为输入，并产生多个 CSV 文件作为输出。它使用 Hydra 进行配置管理。顶层配置文件 config.yaml 指向其他配置文件，这些文件位于 configs/ 目录中。

输出分析

生成的结果将存放在 results/ 目录中，具体路径可以在 config.yaml 中的 output_dir 字段指定。使用 Jupyter Notebook 打开 notebooks/example.ipynb 可以看到如何轻松提取相关输出的示例。

请求跟踪

SplitwiseSim 期望请求跟踪在 CSV 文件中，每条请求包含以下字段：

• request_id：请求的 ID，通常是单调递增的数字。
• request_type：请求的类型（例如，深度学习推理、LLM 推理等）。目前仅支持 2，表示生成性 LLM 推理。
• application_id：请求目标的应用程序/端点 ID。默认为 0，表示单个应用程序。
• arrival_timestamp：请求到达集群的时间戳。
• batch_size：如果请求在到达时已经批处理，可以在此指定（当前未使用）。
• prompt_size：请求输入提示中的令牌数。
• token_size：请求输出的令牌数。

4. 典型生态项目

SplitwiseSim 作为一种集群模拟器，可以与以下生态项目结合使用：

• Hydra：用于配置管理的库。
• Jupyter Notebook：用于分析和可视化结果的工具。
• conda：用于环境管理的包管理器。

通过这些工具和项目的结合，开发者可以更有效地进行模型服务的评估和优化。