深入理解foxy-contexts项目的测试框架foxytest

前言

在软件开发过程中，测试是确保代码质量的关键环节。对于foxy-contexts项目而言，它提供了一个名为foxytest的专用测试框架，专门用于测试基于JSON-RPC 2.0协议的服务器实现。本文将详细介绍如何使用foxytest进行高效测试。

foxytest概述

foxytest是一个专门为foxy-contexts项目设计的测试工具包，它提供了以下核心功能：

1. 支持通过标准输入输出(stdio)和HTTP流两种传输方式测试服务器
2. 基于YAML文件定义测试用例
3. 提供JSON响应验证功能
4. 支持正则表达式匹配动态内容

测试环境搭建

要使用foxytest进行测试，首先需要设置测试套件。以下是一个典型的测试初始化代码示例：

import (
	"testing"
	"github.com/strowk/foxy-contexts/pkg/foxytest"
)

func TestWithFoxytest(t *testing.T) {
	// 读取测试数据目录
	ts, err := foxytest.Read("testdata")
	if err != nil {
		t.Fatal(err)
	}
	
	// 配置要测试的可执行文件
	ts.WithExecutable("go", []string{"run", "main.go"})
	
	// 启用测试日志(使用-v标志运行测试时可见)
	ts.WithLogging()
	
	// 创建测试运行器并执行测试
	cntrl := foxytest.NewTestRunner(t)
	ts.Run(cntrl)
	ts.AssertNoErrors(cntrl)
}

测试用例编写规范

测试用例需要存储在testdata目录下，文件名应以_test.yaml结尾。每个YAML文件可以包含一个或多个测试场景。

基本测试用例结构

case: 工具列表为空测试
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_no_tools: {"jsonrpc":"2.0","result":{"tools":[]},"id":1}

这个例子展示了一个简单的测试场景：

1. 客户端发送tools/list请求(in_list_tools)
2. 期望服务器返回空工具列表(out_no_tools)

多文档测试用例

YAML文件支持多文档格式，每个文档代表一个独立的测试场景：

---
case: 测试场景1
in_request1: {...}
out_response1: {...}
---
case: 测试场景2
in_request2: {...}
out_response2: {...}

测试执行流程

当执行go test命令时，foxytest会：

1. 启动被测服务器(通过WithExecutable配置)
2. 建立与服务器的连接
3. 发送YAML文件中定义的输入消息(in_*)
4. 接收服务器响应
5. 将响应与预期输出(out_*)进行比对
6. 报告测试结果

高级匹配功能

正则表达式匹配(!!re)

对于响应中包含动态内容(如时间戳、UUID等)的情况，可以使用正则表达式进行匹配：

case: 动态工具名测试
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[{"name":!!re "list-[a-z]+"}]},"id":1}

嵌入式正则表达式(!!ere)

当只需要对字符串的一部分进行正则匹配时，可以使用嵌入式正则表达式：

case: 部分匹配测试
in_list_tools: {"jsonrpc":"2.0","method":"tools/list","id":1}
out_list_tools: {"jsonrpc":"2.0","result":{"tools":[{"name":!!ere "list-/[a-z]+/-tool"}]},"id":1}

在这个例子中：

• list-和-tool是普通字符串
• /[a-z]+/是正则表达式，匹配任意小写字母组合

特殊字符转义

当字符串中包含斜杠(/)时需要进行转义：

case: URL匹配测试
in_get_url: {"jsonrpc":"2.0","method":"get_url","id":1}
out_url_response: {"jsonrpc":"2.0","result":{"url":!!ere "https:\\/\\/example.com\\//[a-z]+/"},"id":1}

测试日志与调试

启用日志记录后(ts.WithLogging())，可以使用go test -v查看详细测试过程：

=== RUN   TestWithFoxytest
    testsuite.go:55: setting up test suite
    testsuite.go:59: running command: go run main.go
    testsuite.go:59: running 1 tests
    testsuite.go:55: waiting for command to finish
    testsuite.go:59: expecting output: {"id":1,"jsonrpc":"2.0","result":{"tools":[]}}
    testsuite.go:59: sending input: {"id":1,"jsonrpc":"2.0","method":"tools/list"}
    testsuite.go:59: output matches: {"jsonrpc":"2.0","result":{"tools":[]},"id":1}
    testsuite.go:55: tests done
    testsuite.go:55: running after all
    testsuite.go:55: stop executable
    testsuite.go:55: finished reading output
    testsuite.go:55: executable stopped
--- PASS: TestWithFoxytest (1.39s)

测试失败分析

当测试失败时，foxytest会提供详细的差异分析，帮助快速定位问题：

    testsuite.go:54:
          "result": {
            "content": {
              "0": {
                "text": {
                ^ 值不匹配嵌入式正则表达式:
        期望匹配: "{"name":"k3d-mcp-k8s-test-server-0","status":"Active","age":"/[\\d][sm]/","createdAt":"/[\\d]{4}/-/[\\d]{2}/-/[\\d]{2}/T/[\\d]{2}/:/[\\d]{2}/:/[\\d]{2}/Z"}",
          实际得到: "{"name":"k3d-mcp-k8s-integration-test-server-0","status":"Unknown","age":"1m0s"}"

最佳实践

1. 组织测试目录：将相关测试用例分组到不同的YAML文件中
2. 命名规范：使用有意义的测试用例名称和字段名
3. 动态内容处理：合理使用正则表达式匹配动态值
4. 测试覆盖率：确保覆盖所有关键功能和边界条件
5. 持续集成：将foxytest集成到CI/CD流程中

总结

foxy-contexts项目的foxytest框架为JSON-RPC 2.0服务器提供了强大的测试能力。通过YAML定义测试用例、支持多种匹配方式、提供详细的错误报告，使得编写和维护测试变得简单高效。掌握foxytest的使用方法，将显著提升foxy-contexts项目的开发质量和效率。