Slang项目CTS测试失败问题分析与解决

问题背景

在Shader-Slang项目的持续集成流程中，夜间运行的CTS(Conformance Test Suite)测试突然开始失败。这一问题最初表现为测试无法正常启动，初步怀疑与近期SPIRV-Headers的更新有关，可能需要更新CTS测试二进制文件。

问题分析

经过深入调查，发现问题实际上由多个因素共同导致：

1. GLSL兼容性问题：测试失败的根本原因来自一个GLSL相关的修改。错误日志显示，测试用例无法识别GLSL内置类型如vec4和ivec3，提示需要启用GLSL兼容模式。

2. SPIRV工具链同步问题：当更新SPIRV-Headers和SPIRV-Tools时，需要同步更新VK-GL-CTS项目中的相关依赖，否则会导致兼容性问题。

3. 图形驱动兼容性问题：在某些情况下，CTS程序可能会引起图形驱动崩溃，这增加了问题的复杂性。

4. 测试豁免列表问题：在测试过程中发现，某些GPU设备(如3080 Ti)未被包含在豁免列表中，导致所有豁免测试都显示为失败。

解决方案

针对上述问题，项目团队采取了以下解决措施：

1. CTS二进制更新：将VK-GL-CTS项目重新基于最新代码库进行构建，发布了多个版本的测试二进制文件(0.0.5至0.0.7)，逐步解决兼容性问题。

2. GLSL兼容模式修复：修正了导致GLSL模块不可用的问题，确保测试能够正确识别GLSL内置类型。

3. 向后兼容性改进：修改deqp-vk程序，使其能够同时兼容新旧版本的Slang二进制文件，提高了测试的灵活性。

4. 文档更新：完善了关于SPIRV工具链更新的文档，明确指出在更新SPIRV相关组件时需要同步更新VK-GL-CTS。

经验总结

这次问题的解决过程提供了几个重要的经验教训：

1. 组件依赖管理：当项目依赖多个相互关联的组件时，需要特别注意它们之间的版本兼容性，特别是像SPIRV工具链这样的基础组件。

2. 测试环境全面性：测试环境应该覆盖各种可能的硬件配置，包括不同型号的GPU，以确保测试结果的准确性。

3. 渐进式问题解决：复杂问题往往由多个因素导致，需要采用分步验证的方法，逐步定位和解决各个子问题。

4. 文档的重要性：及时更新项目文档，记录已知问题和解决方案，可以显著提高团队的问题解决效率。

通过这次问题的解决，Shader-Slang项目的测试流程得到了进一步完善，为未来的开发工作奠定了更坚实的基础。