Giskard项目中如何将LLM模型和嵌入模型从OpenAI迁移至Azure OpenAI

在构建基于大语言模型(LLM)的应用时，模型服务提供商的选择直接影响着系统的性能和成本。Giskard作为开源的AI质量保障工具，支持多种LLM服务提供商，包括OpenAI和Azure OpenAI。本文将详细介绍如何在Giskard项目中完成从OpenAI到Azure OpenAI的完整迁移。

模型迁移的核心挑战

在Giskard项目中，模型迁移涉及两个关键层面：

1. 评估器模型：用于执行质量评估的LLM
2. 被测模型：需要被评估的目标模型

许多开发者容易忽略的是，这两个层面都需要独立配置模型参数。这也是为什么仅设置环境变量有时无法完全解决问题。

配置Azure OpenAI评估器

对于Giskard的评估功能，正确的配置方式如下：

import os
import giskard

# 设置Azure OpenAI API参数
os.environ["AZURE_API_KEY"] = "您的API密钥"
os.environ["AZURE_API_BASE"] = "https://您的服务名称.openai.azure.com"
os.environ["AZURE_API_VERSION"] = "2024-05-01-preview"

# 配置Giskard使用的模型
giskard.llm.set_llm_model("azure/gpt-4o")
giskard.llm.set_embedding_model("azure/text-embedding-3-small")

这段代码确保了Giskard的质量评估功能会使用Azure OpenAI服务。

改造被测模型

以IPCC气候问答模型为例，改造要点包括：

1. 替换OpenAI客户端为Azure OpenAI客户端
2. 更新嵌入模型配置

from langchain_openai import AzureOpenAI, AzureOpenAIEmbeddings

# 创建Azure OpenAI LLM实例
llm = AzureOpenAI(
    deployment_name="您的部署名称",
    temperature=0
)

# 使用Azure OpenAI嵌入模型
db = FAISS.from_documents(
    docs, 
    AzureOpenAIEmbeddings(model="text-embedding-3-large")
)

常见问题解决方案

1. 嵌入模型加载失败：确保同时设置了环境变量和模型参数
2. API密钥错误：检查Azure门户中的密钥和终结点配置
3. 版本兼容性：确认API版本与Azure OpenAI服务支持的版本一致

最佳实践建议

1. 为不同环境(开发、测试、生产)使用独立的Azure OpenAI资源
2. 在代码中明确指定模型部署名称，而非通用模型名称
3. 监控Azure OpenAI的使用配额和成本
4. 考虑实现模型配置的集中管理，避免硬编码

通过以上步骤，开发者可以完整地将Giskard项目中的LLM相关功能从OpenAI迁移至Azure OpenAI，同时保持原有的质量评估能力。这种迁移不仅提供了更多的部署选项，还能更好地满足企业级的安全和合规要求。

记住，成功的迁移不仅仅是API端点的替换，更需要理解整个架构中模型使用的各个环节，确保每个组件都得到正确的配置。