Delphi 项目使用教程

1. 项目目录结构及介绍

Delphi 项目是一个用于自动化解释大型语言模型中数百万特征的开源库。以下是项目的目录结构及各个部分的简要介绍：

delphi/
├── .github/             # GitHub 工作流和配置文件
├── .vscode/             # VSCode 项目配置
├── delphi/              # Delphi 库的主要代码
├── examples/            # 使用 Delphi 库的示例代码
├── .gitignore           # 定义 Git 忽略的文件和目录
├── pre-commit-config.yaml # pre-commit 钩子配置
├── LICENSE              # Apache-2.0 许可证文件
├── README.md            # 项目说明文件
├── pyproject.toml       # Python 项目配置文件

2. 项目的启动文件介绍

项目的启动主要通过 python -m delphi [参数] 命令进行，其中 delphi 是主模块。以下是一个示例命令：

python -m delphi meta-llama/Meta-Llama-3-8B EleutherAI/sae-llama-3-8b-32x --explainer_model 'hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4' --dataset_repo 'EleutherAI/fineweb-edu-dedup-10b' --dataset_split 'train[:1%]' --n_tokens 10_000_000 --max_latents 100 --hookpoints layers.5 --filter_bos --name llama-3-8B

这个命令会执行以下操作：

• 缓存数据集前 10M 个标记的激活。
• 使用指定的解释模型为第 5 层的前 100 个特征生成解释。
• 使用模糊和检测评分器对解释进行评分。
• 记录每个评分器的 F1 分数和混淆矩阵，并生成评分器分类准确度的直方图。

3. 项目的配置文件介绍

项目的配置文件主要包括 .vscode/settings.json 和 pyproject.toml。

• .vscode/settings.json：这是 VSCode 的配置文件，用于定制开发环境的设置，如代码格式化、代码片段等。

• pyproject.toml：这是一个定义 Python 项目 metadata 和依赖关系的配置文件。Delphi 库的 pyproject.toml 文件可能包含以下内容：

[build-system]
requires = ["setuptools", "wheel"]
build-backend = "setuptools.build_meta"

[tool.setuptools]
packages = find:
python_requires = >=3.7

这个文件指定了构建系统所需的依赖项，并定义了项目支持和打包的 Python 版本。