inferx 项目亮点解析

1. 项目的基础介绍

InferX 是一个面向服务器的无服务器推理平台，专门为超快速、高效且可扩展的 AI 模型部署而设计。它能够在单个环境中支持多种模型的部署，并实现小于两秒的冷启动时间。InferX 通过优化的性能和资源利用，使得 GPU 利用率可以达到 80% 以上，为下一代 AI 应用提供了无与伦比的速度和效率。

2. 项目代码目录及介绍

InferX 项目的代码库结构清晰，以下是一些主要的目录及其介绍：

• config: 包含配置文件，如 Keycloak 配置文件等。
• dashboard: 提供了项目的 GUI 界面。
• deployment: 包含部署相关的文件和脚本。
• doc: 存放项目文档。
• inferxlib: 包含 inferx 库的源代码。
• ixctl: 提供了命令行工具用于管理 inferx。
• script: 包含项目初始化和部署脚本。
• Makefile: 构建和编译项目的指令。

3. 项目亮点功能拆解

• 超快速冷启动: 在不到两秒内启动 GPU 推理，即使是大型模型（12B+）也能快速响应。
• GPU 切片: 只为每个模型分配 GPU 的一部分，例如 1/3 GPU，以便在并行运行多个工作负载时提高效率。
• 超高模型部署密度: 在单个节点上支持部署数百个模型，例如在演示中，30 个模型和 2 个 GPU，最大化硬件利用率。
• 80%+ GPU 利用率: 通过即时扩展和超高部署密度，可以实现 80% 的 GPU 利用率。
• 类 Lambda AI 服务: 自动根据需求扩展 AI 推理工作负载。

4. 项目主要技术亮点拆解

• InferX 快速冷启动: 利用 InferX Snapshot 技术，通过在 CPU 内存或 InferX Blobstore 中预加载 GPU 快照，实现快速冷启动。
• Blobstore: 高吞吐量的大块存储，用于存储模型快照，当恢复推理容器时，快照数据从存储转移到 GPU 和 CPU 内存。
• 集群调度器: 当推理请求发送到 API 网关时，调度器将分配一个暖实例来处理请求，如果不存在，则冷启动一个新实例。

5. 与同类项目对比的亮点

相比同类 Kubernetes 推理平台，InferX 在 GPU 利用率上有显著优势。传统的 Kubernetes 平台 GPU 利用率通常只有 10% ~ 20%，而 InferX 能够通过其超快速冷启动和高部署密度（演示中达到 3000%），将 GPU 利用率提升至 90%。InferX 通过在共享集群中协同部署多个模型，减少空闲时间，同时减少了为高可用性和快速扩展所需的空闲实例数量。