Pulumi 语言兼容性测试中支持手写程序的技术方案

在 Pulumi 多语言 SDK 的开发过程中，确保各语言宿主（Language Host）能够完整支持核心功能是至关重要的。当前通过 Programgen 或 pulumi convert 自动生成测试程序的方式存在一定局限性，特别是在某些新功能尚未被代码生成器支持时，开发团队需要一种更灵活的测试验证机制。

现有测试机制的局限性

Pulumi 现有的兼容性测试框架主要依赖程序生成器自动创建测试项目。这种自动化方式虽然高效，但在以下场景中会形成验证缺口：

1. 当语言宿主已实现新功能，但代码生成器尚未更新时
2. 需要测试某些边界条件或特殊用例时
3. 快速验证核心功能而不想等待完整生成流程时

手写程序支持方案设计

核心设计思想

通过在测试准备阶段引入可选的手写程序清单机制，为语言运行时提供更灵活的测试素材选择权。该设计保持向后兼容，不影响现有自动化测试流程。

技术实现要点

1. 清单声明机制：

   • 语言运行时在调用 PrepareLanguageTests 时可选择性提交手写程序清单
   • 清单采用测试名称到程序路径的映射结构
   • 该信息将被封装在返回的测试令牌中

2. 动态测试素材选择：

   • 测试运行时优先检查手写程序清单
   • 对于清单中存在的测试用例，直接使用预设程序
   • 其余情况仍走自动生成流程

3. 目录结构约定：

/conformance/
  /handwritten/
    /language-x/
      test-case-1/
        Pulumi.yaml
        index.xx
      test-case-2/
        ...

实施优势分析

1. 渐进式开发支持： 允许语言开发团队分阶段验证功能，不必等待所有代码生成逻辑就绪。

2. 测试场景扩展： 可以轻松加入难以通过生成器创建的边缘案例，如：

   • 特定资源组合配置
   • 异常处理路径
   • 性能关键路径

3. 调试效率提升： 开发者可以快速创建最小化测试用例，聚焦特定问题验证。

典型应用场景示例

场景一：新资源类型支持验证

# 手写程序示例：验证AWS新推出的服务支持
import pulumi_aws as aws

new_service = aws.newexample.Service("demo",
    property_a="value",
    property_b=42
)

pulumi.export("arn", new_service.arn)

场景二：复杂输出处理测试

// 验证多语言间复杂的输出传递
const instance = new aws.ec2.Instance("web", {...});
const combined = pulumi.all([instance.arn, instance.publicIp])
    .apply(([arn, ip]) => `${arn}|${ip}`);

export const result = combined;

工程实践建议

1. 版本控制策略：

   • 手写程序应与生成程序分开管理
   • 建议采用独立的版本控制目录结构

2. 生命周期管理：

   • 当某个功能被生成器完整支持后，相应手写测试应标记为弃用
   • 定期审计手写测试用例的时效性

3. CI/CD集成：

   • 在持续集成中区分手写测试和生成测试
   • 可设置不同的通过标准

这种增强的测试框架设计将使Pulumi多语言生态系统的开发更加敏捷，特别是对于新兴语言宿主的支持将获得显著提速。通过结合自动化生成与手动验证的双重优势，可以更全面地保证基础设施即代码的质量一致性。