Kotest框架中assertSoftly对非AssertionError异常的静默处理问题分析

问题背景

在Kotest测试框架中，assertSoftly是一个常用的软断言机制，它允许在单个测试块中执行多个断言，即使其中某些断言失败，也会继续执行后续断言，最后将所有失败结果汇总报告。然而，近期发现该机制在处理非AssertionError类型的异常时存在行为异常。

问题现象

通过对比两个测试用例可以清晰地观察到问题：

1. 直接调用bespokeDivision(1, 0)会如预期抛出ArithmeticException("/ by zero")
2. 但在assertSoftly块中执行相同操作时，算术异常被静默处理，仅报告了断言失败

技术原理

assertSoftly的设计初衷是收集测试过程中的所有断言失败（AssertionError），但它错误地将所有Throwable都纳入了错误收集机制。根据测试框架的最佳实践：

• 断言失败应使用AssertionError表示
• 其他运行时异常（如ArithmeticException）应视为测试环境或代码本身的错误
• 框架不应拦截非断言相关的异常

影响范围

这个bug会导致：

1. 掩盖真实的代码缺陷：如空指针、算术异常等被错误地归类为断言失败
2. 误导测试结果：使开发者误以为只是断言不匹配，而实际上可能是测试环境或被测代码存在严重问题
3. 破坏测试的快速失败原则：本应立即暴露的问题被延迟发现

解决方案

正确的实现应该：

1. 区分处理AssertionError和其他Throwable
2. 对于非断言异常，应当立即抛出
3. 仅对断言失败进行收集和汇总

修复后的行为将更符合测试框架的预期：

• 断言失败 => 收集并继续执行
• 其他异常 => 立即中断测试执行

最佳实践建议

1. 在assertSoftly块中应专注于断言语句
2. 对于可能抛出非断言异常的代码，建议：
   • 在assertSoftly外部执行可能抛出异常的代码
   • 或使用明确的异常捕获机制
3. 复杂的测试逻辑建议拆分为多个独立测试用例

总结

这个问题的修复使得Kotest的assertSoftly行为更加符合测试框架的语义，确保了不同类型错误的正确处理。开发者在升级到修复版本后，将能更准确地识别测试失败的真实原因，提高测试的有效性和可维护性。