Foundry-Local 的安装和配置教程

项目基础介绍

Foundry-Local 是由微软开源的一个项目，它允许用户在本地设备上运行 Azure AI Foundry 的功能，而无需 Azure 订阅。该项目提供了一种方式，使用户能够直接在本地硬件上运行生成式 AI 模型，保持数据处理的私密性和安全性，并通过 OpenAI 兼容的 API 与应用程序集成。

该项目主要使用以下编程语言：

• Python
• TypeScript
• C#
• JavaScript

项目使用的关键技术和框架

• ONNX Runtime：一个跨平台的推理引擎，用于高性能的机器学习模型推理。
• OpenAI SDK：允许开发人员通过 SDK 调用 Foundry-Local 提供的模型。
• Azure AI Foundry：微软的 AI 平台，提供模型训练和部署服务。

项目安装和配置的准备工作

在开始安装 Foundry-Local 之前，请确保您的系统满足以下要求：

• Windows 或 MacOS 操作系统。
• 对于 Windows 用户，需要安装 Windows Terminal 或其他命令行工具。
• 对于 MacOS 用户，需要安装 Homebrew。

详细的安装步骤如下：

Windows 用户

1. 打开 Windows Terminal 或其他命令行工具。
2. 运行以下命令来安装 Foundry-Local：

   winget install Microsoft.FoundryLocal
   

MacOS 用户

1. 打开 Terminal。
2. 运行以下命令来安装 Homebrew（如果尚未安装）：

   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
   

3. 运行以下命令来安装 Foundry-Local：

   brew tap microsoft/foundrylocal
   brew install foundrylocal
   

验证安装

安装完成后，您可以通过运行以下命令来验证安装是否成功：

• 对于 Windows 用户：

  foundry --version
  

• 对于 MacOS 用户：

  foundry-local --version
  

如果系统返回了版本信息，则表示安装成功。

以上步骤将帮助您成功安装和配置 Foundry-Local。接下来，您可以按照项目提供的文档来探索和运行各种 AI 模型。