bloom高级功能：自定义行为评估的完整指南

2026-02-04 05:14:16作者：房伟宁

bloom是一款功能强大的行为评估工具，能够帮助用户立即评估任何行为，其核心优势在于高度的可定制性。本文将详细介绍如何利用bloom的高级功能进行自定义行为评估，让你轻松打造符合特定需求的评估系统。

一、自定义行为评估的基础准备

在开始自定义行为评估之前，首先需要确保你已经正确安装了bloom项目。如果还没有安装，可以通过以下命令克隆仓库：

git clone https://gitcode.com/GitHub_Trending/bloom31/bloom

bloom的自定义行为评估功能主要依赖于行为定义文件和评估配置文件。这些文件都位于项目的特定目录中，了解它们的位置和结构是进行自定义的第一步。

1.1 行为定义文件的位置

行为定义文件主要存放在src/bloom/data/behaviors/examples/目录下，该目录包含了多种行为的示例，如animal-welfare、contextual-optimism、defend-objects等。每个行为都有多个示例JSON文件，例如：

src/bloom/data/behaviors/examples/animal-welfare/example1.json
src/bloom/data/behaviors/examples/contextual-optimism/example2.json

这些示例文件可以作为你创建自定义行为的参考模板。

1.2 评估配置文件的位置

评估配置文件主要位于src/bloom/data/configurable_prompts/目录，其中包含了各种评估相关的配置，如默认配置、特定行为的配置等。例如：

src/bloom/data/configurable_prompts/default.json
src/bloom/data/configurable_prompts/mo_animal-welfare.json

这些配置文件定义了评估过程中使用的提示词和参数，是自定义评估逻辑的关键。

二、创建自定义行为定义文件

自定义行为评估的第一步是创建自己的行为定义文件。行为定义文件是JSON格式的，它描述了需要评估的行为特征、示例场景等信息。

2.1 行为定义文件的结构

一个典型的行为定义文件包含以下几个关键部分：

behavior_name：行为的名称，用于标识该行为
description：行为的详细描述，说明该行为的特征和表现
examples：行为的示例场景，包含输入和期望的输出

你可以参考src/bloom/data/behaviors/examples/目录下的现有示例文件来构建自己的行为定义。例如，src/bloom/data/behaviors/examples/defer-to-users/example1.json就是一个很好的参考范例。

2.2 创建自定义行为定义文件的步骤

在src/bloom/data/behaviors/examples/目录下创建一个新的文件夹，用于存放你的自定义行为示例，例如my-custom-behavior。
在新创建的文件夹中创建一个或多个JSON文件，如example1.json、example2.json等。
按照行为定义文件的结构，填写自定义行为的名称、描述和示例场景。

以下是一个简单的自定义行为定义文件示例：

{
  "behavior_name": "my-custom-behavior",
  "description": "This is a custom behavior for evaluating user-defined scenarios.",
  "examples": [
    {
      "input": "User query: How to implement custom behavior evaluation in bloom?",
      "output": "To implement custom behavior evaluation in bloom, you need to create behavior definition files and configure evaluation prompts."
    }
  ]
}

三、配置自定义评估提示词

评估提示词是影响评估结果的关键因素。bloom允许你通过配置文件自定义评估过程中使用的提示词，以适应不同的评估需求。

3.1 评估提示词配置文件的结构

评估提示词配置文件位于src/bloom/data/configurable_prompts/目录，文件格式为JSON。这些文件定义了评估的各个步骤（如理解、构思、推演、判断）所使用的提示词。例如，src/bloom/data/configurable_prompts/default.json是默认的评估提示词配置文件。

一个典型的评估提示词配置文件包含以下几个部分：

step1_understanding：理解阶段的提示词
step2_ideation：构思阶段的提示词
step3_rollout：推演阶段的提示词
step4_judgment：判断阶段的提示词

3.2 创建自定义评估提示词配置文件

如果你需要为自定义行为创建特定的评估提示词，可以在src/bloom/data/configurable_prompts/目录下创建一个新的JSON文件，例如mo_my-custom-behavior.json（遵循mo_行为名称.json的命名规范）。

在该文件中，你可以根据需要修改各个评估步骤的提示词。例如，为了更准确地评估自定义行为，你可以调整判断阶段的提示词，使其更关注自定义行为的特定特征。

四、运行自定义行为评估

完成自定义行为定义文件和评估提示词配置文件的创建后，就可以运行自定义行为评估了。bloom提供了命令行接口（CLI）来执行评估任务，你可以通过以下步骤运行评估：

4.1 使用CLI运行评估

bloom的CLI位于src/bloom/cli.py文件中，你可以通过运行该文件来启动评估。以下是一个运行自定义行为评估的示例命令：

python -m bloom.cli evaluate --behavior my-custom-behavior --config mo_my-custom-behavior

其中，--behavior参数指定要评估的行为名称，--config参数指定评估提示词配置文件的名称（不包含.json扩展名）。

4.2 查看评估结果

评估完成后，结果会以特定的格式输出。你可以在控制台上直接查看评估结果，也可以通过查看评估过程中生成的转录文件来获取更详细的信息。转录文件通常位于tests/fixtures/目录下，例如tests/fixtures/self-preferential-bias/transcript_v1r1.json。

五、自定义行为评估的高级技巧

为了让自定义行为评估更加准确和高效，这里提供一些高级技巧：

5.1 丰富行为示例

行为示例的数量和质量直接影响评估的准确性。尽量为自定义行为提供多个不同场景的示例，涵盖各种可能的输入和期望输出。例如，在src/bloom/data/behaviors/examples/my-custom-behavior/目录下创建多个示例文件（example1.json、example2.json、example3.json等）。