BqLog vs spdlog、quill、Log4j2:10线程日志吞吐实测,为什么它快一个数量级

原创2026-11-01 09:57:371,332 阅读

BqLog vs spdlog、quill、Log4j2:10线程日志吞吐实测,为什么它快一个数量级

BqLog 是一个轻量级、高性能的跨语言日志库(C++/Java/C#/Kotlin/TS/Python/Go),已在线上广泛应用于《王者荣耀》等项目。本文基于官方 Benchmark 数据,把它与 spdlog、quill、fmtlog、glog、Log4j2 放在一起做 10 线程日志吞吐实测,并拆解"快一个数量级"背后的三个设计决策。数据来自 docs/BENCHMARK_CHS.md,测试代码见 benchmark/cpp/main.cpp。

📊 先看结论(macOS,10 线程,固定缓冲区):BqLog 压缩格式 375 ms 写完 2000 万条日志,quill 4338 ms、fmtlog 2982 ms、Log4j2 3754 ms,spdlog 6 线程就已飙到 25056 ms。BqLog 的总耗时和 CPU 时间都是全场最低。

BqLog 高性能日志库架构:多语言 Wrapper 共享同一核心引擎

BqLog 的架构:不同语言通过 Wrapper 访问同一核心引擎,每个 Log 对象可挂载控制台 / 文本 / 压缩文件 Appender(架构图见 README_CHS.md)

测试环境:6 个日志库,同一套规则

所有库都用固定大小、写满阻塞的队列(一条不丢),1~10 个线程同时写,每线程 200 万条,从第一条开始计时,直到全部落盘才停表。每项结果同时给出总耗时、CPU 时间、峰值内存——快,但吃 CPU、吃内存的库不算真的好。

环境 机器 对比库(2026-10 最新版)
macOS MacBook Pro,Apple M4 Pro,48 GB BqLog 2.6.0、quill 13.0.0、fmtlog 2.3.0、spdlog 1.17.0、glog 0.7.1、Log4j2 2.26.0 + Disruptor 4.0.0
Windows AMD Ryzen 9 9950X(16 核 32 线程),96 GB 同上

10 线程日志吞吐实测

macOS(M4 Pro):总耗时,毫秒,越小越好

1 线程 2 线程 4 线程 6 线程 10 线程
BqLog,压缩 39 74 148 223 375
BqLog,文本 152 312 617 935 1548
quill 331 706 1517 2328 4338
fmtlog 254 508 1089 1577 2982
spdlog(异步) 535 1762 6758 25056 —
glog(同步) 2322 4033 9929 21544 —
Log4j2(Java) 665 954 1872 2388 3754

Windows(9950X):10 线程总耗时对比

BqLog 压缩 BqLog 文本 quill fmtlog Log4j2
总耗时(ms) 567 2613 5536 9428 4711

两台机器结论一致:

  • BqLog 压缩格式比其他库中最快的快 4~12 倍,CPU 时间只有对手的 1/5~1/7;
  • BqLog 文本格式也比其他库快 1.5~4.6 倍——说明快不只是压缩格式的功劳,整条写入路径都在省;
  • spdlog 异步模式在 4 线程后耗时暴涨(macOS 6 线程 25056 ms),高并发下是明显短板;
  • 峰值内存:10 线程下 BqLog 不超过 3.1 MB,quill 10.3 MB,fmtlog 12 MB。

为什么它快一个数量级?三个关键设计

1️⃣ 多线程写日志:不让几十个线程抢同一个写游标

传统环形队列(kFifo、Disruptor)只有一个共享写游标。生产者一多,所有核都要对同一行缓存反复"获取所有权",哪怕每条日志只有几十字节,争抢成本也会把吞吐吃掉一大截:

BqLog 日志库共享写游标的硬件开销与专用 SISO 队列方案

上图:共享写游标在核心间来回传递所有权的代价(上);BqLog 让每个生产者拥有专用 SISO 队列,彻底消除争抢(下)。完整推导见《从环形队列到自适应数据总线》

BqLog 的 MISO 环形队列 用 fetch_add 原子分配空间 + 越界回滚处理变长记录冲突;而高频线程则升级到 SISO 专用队列:

BqLog 日志库 MISO 环形缓冲区的多生产者写入布局

MISO 队列:多个生产者线程通过原子游标各占一段空间,单消费者顺序读取

BqLog 日志库 SISO 专用队列的缓存行布局

SISO 队列头按缓存行分区:本地状态、共享读写游标各归其位,生产者和消费者不再互相踩

2️⃣ 少写 7 倍的盘:实时压缩日志格式

其他库把"格式化后的文本"整条搬进队列;BqLog 在队列里放的是压缩记录:格式字符串(模板)只写一次,后续同格式的日志只传参数索引 + 编码后的参数值:

BqLog 实时压缩日志格式的总线记录与文件记录布局

同一条日志的两种布局:总线上对齐排列方便读写,落到文件里被压成 5 字节的紧凑记录(模板与线程名跨记录复用)。格式推导见《高性能实时压缩日志格式》

实测 1 线程 400 万条日志的落盘结果:

库 每条字节数 总大小
BqLog 压缩 12 B 47 MB
quill 67 B 267 MB
fmtlog 75 B 299 MB
spdlog 77 B 307 MB
glog 87 B 349 MB

压缩格式约为文本的 1/7——磁盘 I/O 少了 7 倍,是吞吐差距的很大一部分来源。压缩 Appender 源码在 src/bq_log/log/appender/appender_file_compressed.h。

3️⃣ 热路径上省掉的每一纳秒

  • 融合拷贝哈希:格式串拷进队列和计算模板哈希共用同一次内存读取,一次加载、两次使用(文章三);
  • 模板缓存:消费者查模板走有界哈希缓存,热路径上几乎不碰锁;
  • C++ 快速模式:BQ_LOG_FAST_INFO 宏在调用点绑定格式串,单次调用平均开销从 16.2 ns 压到 6.3 ns,详见 API 参考。

日志线程延迟:单次调用各花多少 ns

吞吐之外,业务线程"喊一嗓子"要多久同样关键(1 个日志线程,macOS):

库 p50 p99 p99.9 平均
BqLog 4 ns 29 ns 77 ns 6.3 ns
quill 4 ns 29 ns 154 ns 6.9 ns
fmtlog 16 ns 166 ns 227 ns 27.7 ns
spdlog(异步) 177 ns 458 ns 907 ns 220.2 ns

BqLog 与 quill、fmtlog 在同一档,但 p99.9 更低(77 vs 154 vs 227 ns);spdlog 慢了一个数量级,Linux 上更是接近两个数量级(1051 ns vs 11.2 ns)。

跑分之外:BqLog 的"隐性"优势

特性 BqLog spdlog glog fmtlog quill Log4j2
异步写入 ✅ ✅ ❌ ✅ ✅ ✅
实时压缩 ✅ ❌ ❌ ❌ ❌ ❌
日志加密(RSA+AES 混合) ✅ ❌ ❌ ❌ ❌ ❌
崩溃恢复(Recovery) ✅ ❌ ✅ ❌ ✅ ❌
多语言统一内核(7 种语言) ✅ ❌ ❌ ❌ ❌ 仅 Java
游戏引擎插件(Unity/Unreal) ✅ ❌ ❌ ❌ ❌ ❌
  • 💾 崩溃也不丢日志:未消费的记录留在 mmap 文件里,重启后按序回放进 Recovery 段:

BqLog 日志库崩溃恢复机制:mmap 重建与重放流程

崩溃恢复三步走:崩溃时数据留在 mmap 文件 → 重启时校验、重建顺序 → 重放进 Appender 恢复段

  • 🌐 跨语言同一套内核:C++、Java、C#、TypeScript、Python、Go 共用一个 C++ 核心,甚至可以在同一进程里共用同一个 Log 对象(wrapper/java/src/bq/log.java 等各语言 Wrapper);
  • 🚀 安装即开箱:Homebrew、vcpkg、NuGet、Maven、PyPI、npm 都支持,见集成指南,示例工程在 demo/。

怎么选日志库?一句话指南

  • C++ 客户端 / 移动端 / 游戏,或多语言混合项目,日志量大、并发高 → 直接上 BqLog,吞吐、内存、磁盘、崩溃恢复全都要;
  • 纯 Java 服务端,团队已有成熟的 Log4j2 配置体系 → Log4j2 依然是稳妥选择,BqLog 在吞吐上更有优势时可作升级项;
  • 简单 C++ 单机工具,日志频率低 → spdlog 上手最快;但要留意它异步模式在高并发下的延迟放大问题。

⚠️ 注意:BqLog 的 C++ 数据使用了快速模式(BQ_LOG_FAST_INFO 等宏);普通模式 log.info(...) 单次调用约 16 ns,整体吞吐差距主要来自消费端,结论不变。

延伸阅读

登录后查看全文
BqLog