大模型推理成本算得清:AIPerf TCO计算器与性价比评估完整指南
大模型推理成本算得清:AIPerf TCO计算器与性价比评估完整指南
部署大模型推理服务后,"到底花多少钱、值不值"往往是团队最关心的问题。AIPerf TCO计算器 正是为此而生:AIPerf 是面向生成式 AI 推理服务(如 vLLM、SGLang、TensorRT-LLM、NIM)的专业性能基准测试工具,仓库内置的 TCO_calculator.ipynb 与 LLM_TCO_Calculator.xlsx 可以一键完成"压测 → 导出数据 → Excel 计算总拥有成本(TCO)"的全流程,让你快速算清每张 GPU、每万 token 的真实成本。
本文面向新手,带你完整走一遍这条性价比评估路线 🧮
为什么 TCO 不能只靠报价单估算
很多团队估算推理成本的方式是:GPU 单价 × 数量 × 使用时长。这个算法忽略了两个关键变量:
- 吞吐差异:同样的 H100,在不同后端、并发、批处理配置下,单位时间产出的 token 数可以相差数倍;
- 功耗差异:不同配置下 GPU 实际功率不同,电费账单也跟着变。
因此科学的 TCO 必须建立在实测性能 + 实测功耗之上。AIPerf 同时覆盖这两块能力:
- 客户端压测:TTFT、ITL、吞吐(tokens/s)、RPS 等指标;
- GPU 遥测:功耗、能耗、利用率等硬件侧指标。
下图是 AIPerf 的整体软件架构,可以看到 GPU Telemetry Manager 与 Server Metrics Manager 正是成本数据的两大来源:
一键式流程:TCO 计算器怎么用
仓库的 notebooks/ 目录提供了完整工具链,说明见 notebooks/README.md。整个流程分四步:
第一步:定义部署元数据
在 TCO_calculator.ipynb 中,首先用一小段元数据描述你的部署环境,成本核算的"账本抬头"就是它:
| 字段 | 示例值 | 作用 |
|---|---|---|
| Model | Meta-Llama-3-8B-Instruct | 被评测的模型 |
| GPU Type | H100_80GB | 硬件型号(决定算力成本) |
| number_of_gpus | 1 | GPU 数量 |
| Precision | BF16 | 推理精度 |
| Execution Mode | NIM-TRTLLM | 推理后端 |
第二步:多场景、多并发压测
Notebook 内置脚本会针对 3 类典型业务场景(翻译 200/200、文本分类 200/5、摘要 1000/200)× 7 档并发(1、2、5、10、50、100、250)执行 aiperf profile,核心参数包括:
aiperf profile \
-m $MODEL \
--endpoint-type chat \
--streaming \
-u localhost:8000 \
--synthetic-input-tokens-mean 200 \
--concurrency $CONCURRENCY \
--request-count $REQUEST_COUNT \
--output-tokens-mean $OUTPUT_SEQUENCE_LENGTH \
--tokenizer meta-llama/Meta-Llama-3-8B-Instruct
每次运行的结果都会导出为 profile_export_aiperf.json,其中包含 TTFT、ITL、请求延迟(avg/p90/p99)、RPS 与 token 吞吐——这些正是 TCO 计算所需的性能输入。
第三步:汇总导出为 Excel
Notebook 用 pandas 把全部 21 组(3 场景 × 7 并发)运行结果读入 DataFrame,按 TCO 计算器要求的 17 个列(模型、GPU 型号、序列长度、并发、延迟分位、RPS、TPS 等)导出为 data.xlsx。
第四步:导入 Excel 成本计算器
打开 LLM_TCO_Calculator.xlsx,把数据粘贴到 "data" 子表即完成导入。计算器内置公式会基于吞吐与能耗自动折算出不同负载下的单位推理成本,你只需填入 GPU 价格、电价、可用率等商务参数,就能得到"每请求成本""每 token 成本"等可以直接写进采购报告的数字。
💡 小贴士:同一份导出表可以对比"1 卡 H100 跑 8B 模型"与"多卡跑 70B 模型"两种方案的单位 token 成本,性价比结论一目了然。
功耗实测:让成本账单更有说服力
TCO 的能耗部分依赖基准期间的 GPU 遥测数据。AIPerf 通过 --gpu-telemetry 标志即可采集,最简方式是无 DCGM 的本地模式:
aiperf profile ... --gpu-telemetry pynvml
更多后端(DCGM、amdsmi、实时 dashboard)的配置详见 docs/tutorials/gpu-telemetry.md。采集到的功耗曲线与吞吐可以对照查看:
在功耗之上,AIPerf 还自动计算了一组能耗效率派生指标(定义见 docs/metrics-reference.md),可以直接用于能效对比:
| 指标 | 含义 | 方向 |
|---|---|---|
output_tokens_per_joule |
每焦耳 GPU 能耗产出的 token 数 | 越高越好 |
energy_per_output_token |
每个输出 token 的能耗(mJ/token) | 越低越好 |
energy_per_request |
每个请求消耗的 GPU 能量 | 越低越好 |
performance_per_watt |
每瓦功率支撑的请求吞吐(MLPerf 风格) | 越高越好 |
energy_delay_product |
能量 × 延迟的联合指标 | 越低越好 |
有了"每 token 能耗",再乘以电价就是电费部分——TCO 的能源项从此有据可查 ⚡
性价比评估:从帕累托前沿找最优部署点
算清单个部署的成本后,下一步是回答"怎么部署最划算"。AIPerf 的参数扫描(sweep)+ 可视化正是干这件事的:
- 扫描:用 YAML 中的
sweep:块声明要遍历的并发/输入输出长度组合,一次生成多组运行结果,模式选择指南见 docs/tutorials/sweeps.md; - 绘图:
aiperf plot <运行目录>自动生成多运行对比图,其中"每张 GPU 的 token 吞吐 vs 延迟"帕累托曲线就是性价比决策的核心视图,用法见 docs/tutorials/plot.md:
这张图的价值在于:曲线的左上区域代表"高吞吐 + 低延迟"的优质运行点,标注的数字是并发值。你会发现吞吐随并发提升的曲线很快进入平台期——在曲线拐点处配置并发,就是性价比最高的部署点:再加 GPU 或并发,成本上涨而收益趋缓。
如果还想把"成本"维度加进来,只需把 TCO 计算器导出的单位成本对照同一批并发点,即可得到"成本—性能"双轴视图,向管理层汇报时更有说服力。
新手常见问题 FAQ
Q1:没有 GPU 也能用 TCO 计算器吗?
可以。Notebook 压测目标可以是任何 OpenAI API 兼容的远程推理服务(通过 --url 指定),本地只做客户端发压与数据汇总。
Q2:TCO 结果和厂商标称性能差距大? 标称值通常是理想负载下的峰值;AIPerf 的指标来自你真实业务的输入/输出长度分布与并发水平,TCO 结论更贴近实际账单。
Q3:如何复现别人的评测? AIPerf 提供随机种子控制与完整参数记录(运行目录内含配置与 CLI 命令),评测可复现性细节见 docs/reproducibility.md。
延伸阅读
- TCO 工具链:notebooks/README.md
- 功耗效率指标完整定义:docs/metrics-reference.md
- GPU 遥测三种部署路径:docs/tutorials/gpu-telemetry.md
- 参数扫描模式选择:docs/tutorials/sweeps.md
- 绘图与帕累托分析:docs/tutorials/plot.md
用 AIPerf 压测拿到真实吞吐,用功耗遥测拿到真实能耗,再用 TCO 计算器把两者折算成钱——这就是大模型推理成本"算得清"的完整方法。


