NeMo-Guardrails项目中对OpenAI 1.2.0+版本的支持问题解析

在NeMo-Guardrails项目中，当用户尝试使用OpenAI 1.2.0及以上版本时，会遇到一个关于嵌入模型(Embedding Model)的兼容性问题。这个问题主要源于OpenAI Python SDK在1.0.0版本中进行了重大API变更，移除了旧版的接口调用方式。

问题背景

OpenAI在1.0.0版本中对Python SDK进行了重构，引入了全新的API接口设计。其中一个显著变化是废弃了直接通过openai.Embedding.create()调用嵌入模型的方式，改为使用客户端模式client.embeddings.create()。这种变更虽然提高了API的一致性和可维护性，但也导致了与依赖旧版API的项目产生兼容性问题。

技术细节分析

在NeMo-Guardrails项目中，嵌入功能是通过OpenAIEmbeddingModel类实现的。当项目检测到配置中使用OpenAI作为嵌入引擎时，会初始化这个类并调用其encode方法来获取文本的向量表示。

在OpenAI SDK 1.0.0之前，获取嵌入向量的代码类似于：

res = openai.Embedding.create(input=documents, engine=self.model)

而在1.0.0及以后版本中，正确的调用方式变为：

from openai import OpenAI
client = OpenAI()
res = client.embeddings.create(input=documents, model=self.model)

解决方案实现

项目维护者采用了向后兼容的解决方案，通过检查openai模块是否具有embeddings属性来判断当前使用的SDK版本，从而选择正确的API调用方式。具体实现如下：

def encode(self, documents: List[str]) -> List[List[float]]:
    import openai
    
    if hasattr(openai, "embeddings"):
        from openai import OpenAI
        client = OpenAI()
        res = client.embeddings.create(input=documents, model=self.model)
        embeddings = [doc.embedding for doc in res.data]
        return embeddings
    else:
        res = openai.Embedding.create(input=documents, engine=self.model)
        embeddings = [record["embedding"] for record in res["data"]]
        return embeddings

这种实现方式确保了代码可以同时支持OpenAI SDK的旧版(0.28.x)和新版(1.0.0+)API，为用户提供了无缝的升级体验。

对用户的影响和建议

对于使用NeMo-Guardrails的开发人员来说，这一改进意味着：

1. 可以自由选择使用OpenAI SDK的旧版或新版，而不用担心兼容性问题
2. 升级到新版OpenAI SDK时，不再需要修改项目代码或配置
3. 可以享受到新版SDK带来的性能改进和新特性

建议用户：

• 如果已经升级到OpenAI 1.0.0+版本，确保使用包含此修复的NeMo-Guardrails版本
• 考虑迁移到新版OpenAI SDK，以获得更好的长期支持和维护
• 在测试环境中验证嵌入功能是否正常工作，特别是在升级后

这一改进已被纳入项目的1月发布版本，为用户提供了更加稳定和兼容的嵌入功能支持。