Stellar Core性能基准测试新思路：专注于账本应用时间的测量

在分布式账本系统Stellar Core的开发过程中，性能测试一直是确保系统稳定性和可扩展性的关键环节。传统的"最大TPS"测试方法通过生成交易并将其发送到合成网络来测量系统性能，但这种方法存在明显局限性——它无法准确反映账本关闭时间这一关键指标。随着Soroban智能合约功能的引入，我们需要一种更精细化的性能评估方法。

传统测试方法的局限性

现有的"最大TPS"测试主要存在三个问题：

1. 它完全忽略了账本关闭时间这个核心指标
2. 测试环境使用的硬件规格通常低于实际验证节点的配置
3. 测试需要搭建完整网络，增加了复杂度和成本

这些问题使得我们难以回答一些关键的性能问题，比如：

• 将每账本指令限制从5亿提高到10亿会对账本关闭时间产生什么影响？
• 使用8个并行线程处理交易能带来多少容量提升？

新型基准测试的设计原则

针对这些问题，我们提出了一种新型基准测试方案，其核心设计原则包括：

1. 单机运行：避免搭建完整网络，直接在接近真实验证节点配置的硬件上运行
2. 配置灵活性：支持自定义网络配置参数
3. 智能交易生成：
   • 生成合成Soroban交易流
   • 可配置资源消耗模式
   • 确保资源估算紧密合理
   • 保证高成功率(95%以上)
4. 完整账本应用流程：
   • 构建交易集
   • 应用交易到账本
   • 确保触发关键逻辑(如预取)
5. 精确测量：记录应用时间指标(平均/P99/最大值等)

技术实现考量

在实现这一基准测试时，我们需要考虑几个关键技术点：

1. 交易生成引擎：

   • 复用现有负载生成器的交易生成逻辑
   • 改进资源估算算法以提高准确性
   • 支持定义合理的资源/包含费分布模型

2. 测试执行流程：

   • 准备阶段直接应用初始化交易(绕过共识)
   • 生成交易直到达到资源限制(通常设为账本容量的2倍)
   • 构建交易集并执行账本关闭流程
   • 循环生成新批次交易

3. 扩展性考量：

   • 未来可加入经典交易流生成(包括DEX交易)
   • 增加交易集构建时间测量
   • 支持驱逐相关场景测试
   • 可选从公网账本快照启动

与历史数据测试方法的对比

传统基于历史数据的测试方法在Soroban环境下存在明显不足：

1. 数据代表性不足：当前公网Soroban交易量有限
2. 扩展性挑战：难以对智能合约交易进行合理缩放
3. 测试目标差异：历史回放无法评估容量提升类优化

相比之下，合成交易方法具有以下优势：

• 可精确控制工作负载特征
• 能模拟特定I/O冲突模式(对并行化测试特别重要)
• 直接测量账本容量与关闭时间的关联

应用场景与价值

这种新型基准测试特别适合以下场景的评估：

1. 协议参数调优：评估不同资源限制对性能的影响
2. 并行化策略验证：测试不同调度方案的效果
3. 性能回归检测：确保优化确实带来预期收益
4. 容量规划：预测不同配置下的系统吞吐量

值得注意的是，某些看似优化的改动(如VM缓存)在实际中可能因为计量差异反而降低真实容量，这正是此类精细测试的价值所在。

总结

Stellar Core的性能测试需要从简单的TPS测量演进到更全面的账本应用时间评估。通过设计专门的基准测试框架，我们可以更准确地回答关于系统容量、并行化效果和参数调优等关键问题，为Soroban生态的健康发展提供坚实的技术保障。这种测试方法不仅适用于当前需求，也为未来性能优化工作建立了可扩展的评估体系。