promptpex 的项目扩展与二次开发

项目的基础介绍

PromptPex 是微软开源的一款用于探索和测试人工智能模型提示（prompts）的工具。它面向那些在代码库中集成了提示功能的开发者。PromptPex 将提示视为一个函数，并自动生成测试输入以支持单元测试，从而确保提示在与各种模型配合使用时能够正确工作。

项目的核心功能

• 自动提取输出规则：PromptPex 能够从自然语言表达的提示中自动提取输出规则，如“输出应为 JSON 格式”。
• 生成单元测试用例：基于提取的规则，PromptPex 生成特定设计的单元测试用例，以验证提示是否正确遵循规则。
• 模型性能评估：通过给定的规则和测试，评估提示在任意模型上的性能，例如，判断一组单元测试在 gpt-4o-mini 模型上是否可以通过，而在 phi3 模型上是否失败。
• 自动导出测试和评估：将生成的测试和基于规则的评估自动导出到 OpenAI Evals API。

项目使用了哪些框架或库？

根据项目的代码库，PromptPex 主要是使用 TypeScript 编写，同时使用了以下框架或库：

• Python：部分脚本使用 Python 语言编写。
• TeX：可能用于生成文档。

项目的代码目录及介绍

项目的代码目录结构大致如下：

• src/：源代码目录，包含 PromptPex 的核心逻辑。
• docs/：文档目录，存放项目的相关文档。
• evals/：评估脚本目录，可能包含对模型性能进行评估的代码。
• samples/：示例目录，可能包含使用 PromptPex 的示例项目或代码。
• genaisrc/：可能包含用于生成测试的源代码。
• .github/：GitHub 工作流目录，包含持续集成和自动化测试的配置。
• tests/：测试目录，存放单元测试代码。

对项目进行扩展或者二次开发的方向

1. 增加更多模型支持：扩展 PromptPex 以支持更多的 AI 模型，使其能够与更多的 AI 平台兼容。
2. 提升规则提取能力：优化规则提取算法，提高自然语言理解的准确度。
3. 集成更多测试框架：整合其他测试框架，如 Jest 或 Mocha，以提供更灵活的测试选项。
4. 用户界面开发：为 PromptPex 开发一个图形用户界面（GUI），使其更加用户友好。
5. 云端集成：将 PromptPex 集成到云端平台，提供在线的提示测试与评估服务。