Falcon-Perception 推理引擎选型指南:Batch / Paged / MLX 三大引擎如何快速选对?完整对比与基准测试
Falcon-Perception 推理引擎选型指南:Batch / Paged / MLX 三大引擎如何快速选对?完整对比与基准测试
Falcon-Perception 是 TII 开源的原生多模态自回归 Transformer 模型推理仓库,支持用自然语言查询完成目标检测、实例分割和 OCR。本指南带你完整对比它的三大推理引擎——Paged、Batch 与 MLX——讲清各自的原理差异、适用场景与性能基准,帮你一次性选对方案,少走弯路。
一图看懂:三大推理引擎的定位差异
| 维度 | Paged 引擎 | Batch 引擎 | MLX 引擎 |
|---|---|---|---|
| 运行平台 | NVIDIA GPU(CUDA) | NVIDIA GPU(CUDA) | Apple Silicon(M 系列芯片) |
| KV Cache | Paged(分页式虚拟页表) | Dense(密集左填充) | Dense(密集左填充) |
| Continuous Batching | ✅ 支持(中途进/出) | ❌ 固定批次 | ❌ 固定批次 |
| CUDA Graph | ✅ 加速 decode 循环 | ❌ | ❌ |
| 代码复杂度 | 高(生产级优化) | 低(最接近训练代码) | 低(无 PyTorch 依赖) |
| 典型用途 | 高吞吐服务、批量评估 | 理解模型、调试复现 | Mac 本地开发、轻量推理 |
一句话总结:要性能选 Paged,要易懂选 Batch,要在 Mac 上跑选 MLX。
Paged 引擎:面向生产的高吞吐主力
Paged Inference Engine 是整个仓库中性能最强的引擎,核心思路与业界主流的 PagedAttention 一脉相承,源码见 falcon_perception/paged_inference.py 和 falcon_perception/paged_attention.py。
它的核心特性包括:
- Paged KV Cache:用虚拟页表管理注意力缓存,按页分配,避免 padding 造成的显存浪费
- Continuous Batching:新序列可在生成中途插入,完成的序列立即释放页
- CUDA Graph 捕获:decode 循环消除 kernel 启动开销,对小模型尤其关键
- 后台分词:CPU 线程池与 GPU 计算重叠
- 抢占(Preemption):显存紧张时暂停运行中的序列,之后重新 prefill
- 高分辨率图像特征缓存(HR Cache):LRU 缓存 + 预分配 pinned memory,同一张图多次查询时显著降低 prefill 时间
官方给出的 H100 稳态延迟参考:首次运行需 10–30 秒(torch.compile + CUDA Graph 捕获),之后约 100ms prefill、200ms 上采样(命中缓存时 0ms)、50ms decode 数个实例。
此外还有 falcon_perception/paged_ocr_inference.py 提供的 Paged OCR 引擎:它在 Paged 引擎之上叠加版面检测 + 分区域 OCR,所有裁剪块统一进入 continuous batching 队列,完成后按结构化输出组装。
显存自动配置
引擎内置按显存档位自动选择的预设(见 falcon_perception/paged_inference.py 中的 engine_config_for_gpu):
| 显存档位 | n_pages | max_batch_size | prefill 上限 |
|---|---|---|---|
| ≥ 79 GiB(H100/A100-80G) | 1024 | 64 | 32768 |
| ≥ 47 GiB | 512 | 32 | 16384 |
| ≥ 23 GiB | 256 | 16 | 8192 |
| ≥ 15 GiB | 128 | 8 | 8192 |
使用 bfloat16 时 KV 缓存减半,页数与批大小会自动翻倍。
Batch 引擎:最接近训练代码的"透明"路径
Batch Inference Engine(falcon_perception/batch_inference.py)刻意保持了最朴素的实现:
- 所有序列左填充到相同长度,配正确的 RoPE 索引与注意力掩码
- 一次 prefill,随后用密集 KV Cache 逐 token decode,直到全部完成
它没有分页、没有抢占、没有 CUDA Graph,性能上限低于 Paged 引擎,但前向过程一目了然,非常适合:
- 刚接触项目,想读懂模型 forward pass
- 复现/调试某个行为时排除调度优化的干扰
- 序列数量少且长度相近的小批量推理
运行方式很简单,在单图脚本中切换引擎类型即可:
python demo/perception_single.py --image photo.jpg --query "cat" --engine-type batch
MLX 引擎:Apple Silicon 原生的轻量选择
如果你在 Mac 上开发,MLX 引擎(falcon_perception/mlx/)提供了完全无 PyTorch、无 transformers 依赖的路径:
- 首次加载时从 safetensors 自动转换权重(Conv 转置、RoPE 复数频率表拆分为 cos/sin,见 falcon_perception/mlx/convert.py)
- 使用
mx.fast.scaled_dot_product_attention,原生支持 attention sink - AnyUp 上采样器采用分块窗口交叉注意力节省统一内存
- 数据预处理管线与 PyTorch 版共享(numpy/PIL),输出结果等价
python demo/perception_single_mlx.py --image photo.jpg --query "cat"
安装时 MLX 后端不需要 PyTorch:
pip install -e ".[mlx]"
性能基准测试:如何复现官方数据
Perception 基准(PBench 数据集)
基准脚本 demo/perception_benchmark.py 在 PBench 上跑 Paged 引擎,输出 IoU、吞吐(tok/s、img/s)、峰值显存,并自动做 warmup 吸收 JIT 编译开销,保证测的是稳态性能:
python demo/perception_benchmark.py # 默认流式加载 50 个样本
python demo/perception_benchmark.py --limit -1 # 跑完整个基准
SUMMARY 报告的关键指标:
- Mean IoU:预测掩码与真值的二部图匹配 IoU(向量化
P @ G.T计算,避免逐对循环) - Total tok/s、Images/s:含 prefill + decode 的端到端吞吐
- Peak VRAM:分配/预留峰值显存,用于核对档位预设
OCR 基准(OCRBench-v2)
demo/ocr_benchmark.py 在 OCRBench-v2 上跑端到端 OCR,流程相同,--limit 200 可扩大样本量。
官方服务侧参考数据
| 场景 | 硬件 | 数据 |
|---|---|---|
| Perception(Paged 引擎) | H100 | prefill ~100ms / decode 数实例 ~50ms |
| Falcon-OCR(vLLM + Layout 全流程) | 单卡 A100-80GB | 5,825 tok/s、2.9 img/s |
Falcon-OCR 1.5 仅 270M 参数,约为 0.9B 级 OCR VLM 的 1/3 体量,直接转化为服务吞吐优势。
多 GPU 服务部署
生产环境可启动多 GPU 推理服务器(falcon_perception/server/,详细文档见 falcon_perception/server/README.md):
python -m falcon_perception.server # 自动检测全部 GPU
python -m falcon_perception.server --config.num-gpus 2 --config.port 7680
架构为数据并行:每卡一个独立进程 worker,各建独立 CUDA 上下文并捕获 CUDA Graph,FastAPI 按最少排队数将请求分发到最空闲的 worker。
选型决策:3 步选对引擎
- 你的设备是什么? Mac → MLX;NVIDIA GPU → 继续下一步
- 目标是理解/调试模型本身吗? 是 → Batch 引擎(demo/perception_single.py 加
--engine-type batch) - 要吞吐量、服务化或批量评估? Paged 引擎,显存档位会自动匹配;需要 REST API 时直接上多 GPU Server
💡 补充两点实用建议:
- A40 / RTX 3090 / 4090 / L40 等 per-SM shared memory 有限的 GPU 上运行 Paged 引擎时,加
--flex-attn-safe参数避免 FlexAttention Triton OOM - 追求极限显存效率时用
--dtype bfloat16,KV 缓存减半,自动预设会相应放大页数
延伸阅读:关键文件路径
| 文件 | 说明 |
|---|---|
| falcon_perception/paged_inference.py | Paged 引擎:调度、抢占、HR 缓存 |
| falcon_perception/paged_attention.py | PagedKVCache 页表实现 |
| falcon_perception/batch_inference.py | Batch 引擎(Dense KV) |
| falcon_perception/mlx/batch_inference.py | MLX Batch 引擎 |
| falcon_perception/paged_ocr_inference.py | Paged OCR 引擎(版面 + 分区域) |
| demo/perception_benchmark.py | PBench 基准测试脚本 |
| demo/ocr_benchmark.py | OCRBench-v2 基准测试脚本 |
| eval/pbench.py | 完整 PBench 评估(F1 / IoU 阈值矩阵) |
| demo/perception_single.py | 单图推理(支持 --engine-type 切换) |
掌握这三条路径,你就能在 Falcon-Perception 项目中根据硬件与目标快速落地:本地 Mac 用 MLX 跑通验证,GPU 上用 Batch 引擎读透原理,生产环境交给 Paged 引擎 + 多 GPU Server 收割吞吐 🚀
