NearCore交易生成器基准测试中的交易计数异常分析

背景介绍

在NearCore区块链项目中，benchmarks/transactions-generator是一个重要的性能测试工具，用于评估系统处理交易的能力。近期发现该工具在运行高负载测试时会出现一个异常现象：系统报告处理的交易数量明显超过实际注入的交易数量。

问题现象

当以高交易速率(约15,000 TPS)运行基准测试时，系统日志显示处理完成的交易数量显著高于实际注入的交易数量。例如，在某个测试案例中：

• 实际注入交易：899,896笔
• 系统报告处理：1,429,436笔
• 差异：529,540笔(多出约59%)

而在较低交易速率(约4,000 TPS)下运行时，该问题不会出现。

根本原因分析

经过深入调查，发现该问题主要由两个因素导致：

1. 乐观区块构建机制：在单节点测试环境中，系统采用的乐观区块构建策略会导致交易被重复计数。这种机制原本是为了提高网络性能而设计，但在单节点环境下会放大计数异常。

2. 区块丢失问题：当系统负载过高时，会出现区块丢失现象。丢失的区块中包含的交易会被重新处理，从而导致这些交易被多次计数。

解决方案

针对这个问题，开发团队已经实施了以下改进措施：

1. 修改计数方式：将交易计数方式改为只统计最终被包含在有效区块中的交易，而不是处理过程中的交易。这种方式消除了乐观区块构建带来的重复计数问题。

2. 性能优化：通过分离交易处理和区块生产流程，减少了高负载情况下的区块丢失现象，从而间接降低了重复计数的发生概率。

技术启示

这个案例为我们提供了几个重要的技术启示：

1. 基准测试设计：性能测试工具的设计需要考虑实际运行环境的特性，单节点测试环境与生产环境可能存在显著差异。

2. 指标定义：在衡量区块链性能时，"有效TPS"(最终上链的交易数)比"处理TPS"更能反映真实性能，但实现这一指标的精确测量具有挑战性。

3. 系统优化方向：分离关键处理流程(如交易处理和区块生产)可以提高系统在高负载下的稳定性。

未来工作

虽然当前已经解决了主要的计数异常问题，但团队仍在进行以下方面的改进：

1. 开发能够准确反映"有效TPS"的监控指标
2. 进一步优化系统架构，减少高负载下的区块丢失
3. 完善基准测试工具，使其能够更准确地模拟真实网络环境

这个问题及其解决方案为区块链性能测试和系统优化提供了宝贵的实践经验，对于构建高性能区块链系统具有重要意义。