Foundry Local 项目启动与配置教程
2025-05-21 09:39:45作者:柏廷章Berta
1. 项目的目录结构及介绍
Foundry Local 项目的主要目录结构如下:
docs/: 存放项目的文档。licenses/: 包含项目使用的许可证文件。media/: 存储与项目相关的媒体文件,如图标等。samples/: 包含示例代码和项目示例。sdk/: 存放项目的软件开发工具包(SDK)相关文件。.gitattributes: 指定如何处理不同文件类型的换行符。.gitignore: 指定Git应该忽略的文件和目录。CODE_OF_CONDUCT.md: 项目的行为准则。CONTRIBUTING.md: 指导如何为项目贡献代码。LICENSE: 项目的许可证文件。README.md: 项目的自述文件,包含项目介绍和如何使用的信息。SECURITY.md: 项目的安全策略。SUPPORT.md: 提供项目支持信息的文档。
2. 项目的启动文件介绍
项目的启动主要通过命令行操作。以下是一些基本命令:
-
安装 Foundry Local:
- Windows:
winget install Microsoft.FoundryLocal - MacOS:
brew tap microsoft/foundrylocal && brew install foundrylocal
- Windows:
-
运行第一个模型:
- 终端中运行
foundry model run phi-3.5-mini命令。如果模型尚未缓存到本地,该命令将自动下载模型,并启动一个与模型的交互式聊天会话。
- 终端中运行
-
列出所有可用模型:
- 运行
foundry model ls命令,将显示所有可以本地运行的模型列表,包括它们的名称、大小和其他详细信息。
- 运行
3. 项目的配置文件介绍
项目的配置主要通过环境变量和命令行参数进行。以下是一些配置选项:
- 使用SDK时,可以通过设置环境变量来配置SDK的行为。
- 在运行模型时,可以通过命令行参数来指定不同的模型版本或配置。
例如,使用Python SDK时,可以这样配置:
from foundry_local import FoundryLocalManager
alias = "phi-3.5-mini"
manager = FoundryLocalManager(alias)
在JavaScript SDK中,配置方式如下:
import { FoundryLocalManager } from "foundry-local-sdk";
const alias = "phi-3.5-mini";
const foundryLocalManager = new FoundryLocalManager();
await foundryLocalManager.init(alias);
确保在运行任何命令之前,已经正确配置了所有必要的环境变量和参数。
登录后查看全文
热门项目推荐
相关项目推荐
GLM-5智谱 AI 正式发布 GLM-5,旨在应对复杂系统工程和长时域智能体任务。Jinja00
GLM-5-w4a8GLM-5-w4a8基于混合专家架构,专为复杂系统工程与长周期智能体任务设计。支持单/多节点部署,适配Atlas 800T A3,采用w4a8量化技术,结合vLLM推理优化,高效平衡性能与精度,助力智能应用开发Jinja00
jiuwenclawJiuwenClaw 是一款基于openJiuwen开发的智能AI Agent,它能够将大语言模型的强大能力,通过你日常使用的各类通讯应用,直接延伸至你的指尖。Python0194- QQwen3.5-397B-A17BQwen3.5 实现了重大飞跃,整合了多模态学习、架构效率、强化学习规模以及全球可访问性等方面的突破性进展,旨在为开发者和企业赋予前所未有的能力与效率。Jinja00
AtomGit城市坐标计划AtomGit 城市坐标计划开启!让开源有坐标,让城市有星火。致力于与城市合伙人共同构建并长期运营一个健康、活跃的本地开发者生态。01
awesome-zig一个关于 Zig 优秀库及资源的协作列表。Makefile00
项目优选
收起
deepin linux kernel
C
27
12
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
602
4.04 K
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
69
21
Ascend Extension for PyTorch
Python
442
531
AscendNPU-IR是基于MLIR(Multi-Level Intermediate Representation)构建的,面向昇腾亲和算子编译时使用的中间表示,提供昇腾完备表达能力,通过编译优化提升昇腾AI处理器计算效率,支持通过生态框架使能昇腾AI处理器与深度调优
C++
112
170
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.46 K
825
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
922
770
暂无简介
Dart
847
204
React Native鸿蒙化仓库
JavaScript
321
375
openGauss kernel ~ openGauss is an open source relational database management system
C++
174
249