.NET Extensions 项目中的 JSON Schema 缓存优化

在 .NET Extensions 项目的 AI 组件中，ChatCompletion 功能提供了一个 CompleteAsync<T> 方法，用于生成结构化输出。这个方法目前存在一个性能优化点：每次调用时都会重新生成 JSON Schema。

当前实现的问题

在现有实现中，每次调用 CompleteAsync<T> 方法时，都会动态生成目标类型 T 的 JSON Schema。这种重复生成对于相同类型 T 的多次调用来说是不必要的，会造成额外的计算开销。

优化方案

通过引入缓存机制可以显著提升性能。具体来说，可以使用 ConditionalWeakTable 来关联缓存与对应的 JsonSerializer 实例。这种缓存策略有几个优势：

1. 缓存的生命周期与 JsonSerializer 实例绑定，当序列化器被回收时，缓存也会自动清理
2. 避免了内存泄漏风险，因为 ConditionalWeakTable 使用弱引用
3. 对于相同类型的多次调用，只需生成一次 Schema

技术实现细节

缓存实现应考虑以下几点：

1. 使用类型作为缓存键
2. 缓存 Schema 的生成结果
3. 与现有的 InferSchema 辅助方法共享缓存基础设施
4. 线程安全访问缓存

更广泛的影响

这个优化不仅提升了当前功能的性能，还引出了一个更广泛的需求：将 Schema 推断辅助方法公开为公共 API。这样其他实现者也可以利用相同的缓存机制和 Schema 生成逻辑，保持一致性并避免重复工作。

总结

在 AI 相关的 .NET 扩展中，优化 JSON Schema 的生成是一个典型的性能提升案例。通过引入适当的缓存机制，可以显著减少重复计算，同时保持代码的健壮性和可维护性。这种优化模式也适用于其他需要频繁生成相同元数据的场景。