MTEB项目中的测试分离策略：提升CI稳定性的实践方案

背景与问题分析

在MTEB(大规模文本嵌入基准)项目的持续集成(CI)过程中，测试套件偶尔会因为外部服务(如Hugging Face)的HTTP调用失败而报错。这类问题并非由项目代码本身引起，却会导致测试结果不可靠，增加了开发团队判断真实问题的难度。

技术解决方案探讨

测试分类策略

现代软件开发中，测试通常分为两类：

1. 单元测试：验证独立代码单元的正确性，不依赖外部服务
2. 集成测试：验证系统与外部依赖的交互

对于MTEB项目，将HTTP相关测试分离到独立的CI流程是合理的选择。这种分离带来以下优势：

• 主测试套件失败时能快速定位是否为内部代码问题
• 外部服务问题不会阻塞内部开发流程
• 更清晰的测试报告分类

pytest实现方案

pytest框架提供了多种标记(marker)机制来实现测试分类：

# 标记为集成测试
@pytest.mark.integration
def test_api_call():
    # 测试HTTP调用的代码

通过命令行参数可选择性运行测试：

# 仅运行普通测试
pytest -m "not integration"

# 仅运行集成测试
pytest -m integration

备选方案：自动重试机制

另一种思路是使用pytest-rerunfailures插件自动重试失败的测试：

pytest --reruns 5 --reruns-delay 1

但这种方案存在潜在风险：

• 可能掩盖真正的随机性错误
• 无法区分临时性网络问题和代码逻辑问题

实施建议

对于MTEB项目，推荐采用测试分离方案而非自动重试，因为：

1. 结果更可靠：明确区分内部错误和外部问题
2. 维护性更好：测试意图更清晰，便于长期维护
3. 调试更高效：问题定位更快速准确

实施步骤建议：

1. 为所有依赖HTTP的测试添加@pytest.mark.integration标记
2. 配置CI分为两个独立任务：核心测试和集成测试
3. 设置不同的失败通知策略，集成测试失败可设置为警告级别

总结

在MTEB这类依赖外部服务的项目中，合理的测试分离策略能显著提升CI管道的可靠性。通过pytest的标记机制，开发者可以优雅地区分测试类型，既保证了核心功能的快速验证，又不失对外部集成的充分测试。这种架构设计思想也适用于其他类似的技术项目。