BqLog vs spdlog、quill、Log4j2:10线程日志吞吐实测,为什么它快一个数量级
BqLog vs spdlog、quill、Log4j2:10线程日志吞吐实测,为什么它快一个数量级
BqLog 是一个轻量级、高性能的跨语言日志库(C++/Java/C#/Kotlin/TS/Python/Go),已在线上广泛应用于《王者荣耀》等项目。本文基于官方 Benchmark 数据,把它与 spdlog、quill、fmtlog、glog、Log4j2 放在一起做 10 线程日志吞吐实测,并拆解"快一个数量级"背后的三个设计决策。数据来自 docs/BENCHMARK_CHS.md,测试代码见 benchmark/cpp/main.cpp。
📊 先看结论(macOS,10 线程,固定缓冲区):BqLog 压缩格式 375 ms 写完 2000 万条日志,quill 4338 ms、fmtlog 2982 ms、Log4j2 3754 ms,spdlog 6 线程就已飙到 25056 ms。BqLog 的总耗时和 CPU 时间都是全场最低。
BqLog 的架构:不同语言通过 Wrapper 访问同一核心引擎,每个 Log 对象可挂载控制台 / 文本 / 压缩文件 Appender(架构图见 README_CHS.md)
测试环境:6 个日志库,同一套规则
所有库都用固定大小、写满阻塞的队列(一条不丢),1~10 个线程同时写,每线程 200 万条,从第一条开始计时,直到全部落盘才停表。每项结果同时给出总耗时、CPU 时间、峰值内存——快,但吃 CPU、吃内存的库不算真的好。
| 环境 | 机器 | 对比库(2026-10 最新版) |
|---|---|---|
| macOS | MacBook Pro,Apple M4 Pro,48 GB | BqLog 2.6.0、quill 13.0.0、fmtlog 2.3.0、spdlog 1.17.0、glog 0.7.1、Log4j2 2.26.0 + Disruptor 4.0.0 |
| Windows | AMD Ryzen 9 9950X(16 核 32 线程),96 GB | 同上 |
10 线程日志吞吐实测
macOS(M4 Pro):总耗时,毫秒,越小越好
| 1 线程 | 2 线程 | 4 线程 | 6 线程 | 10 线程 | |
|---|---|---|---|---|---|
| BqLog,压缩 | 39 | 74 | 148 | 223 | 375 |
| BqLog,文本 | 152 | 312 | 617 | 935 | 1548 |
| quill | 331 | 706 | 1517 | 2328 | 4338 |
| fmtlog | 254 | 508 | 1089 | 1577 | 2982 |
| spdlog(异步) | 535 | 1762 | 6758 | 25056 | — |
| glog(同步) | 2322 | 4033 | 9929 | 21544 | — |
| Log4j2(Java) | 665 | 954 | 1872 | 2388 | 3754 |
Windows(9950X):10 线程总耗时对比
| BqLog 压缩 | BqLog 文本 | quill | fmtlog | Log4j2 | |
|---|---|---|---|---|---|
| 总耗时(ms) | 567 | 2613 | 5536 | 9428 | 4711 |
两台机器结论一致:
- BqLog 压缩格式比其他库中最快的快 4~12 倍,CPU 时间只有对手的 1/5~1/7;
- BqLog 文本格式也比其他库快 1.5~4.6 倍——说明快不只是压缩格式的功劳,整条写入路径都在省;
- spdlog 异步模式在 4 线程后耗时暴涨(macOS 6 线程 25056 ms),高并发下是明显短板;
- 峰值内存:10 线程下 BqLog 不超过 3.1 MB,quill 10.3 MB,fmtlog 12 MB。
为什么它快一个数量级?三个关键设计
1️⃣ 多线程写日志:不让几十个线程抢同一个写游标
传统环形队列(kFifo、Disruptor)只有一个共享写游标。生产者一多,所有核都要对同一行缓存反复"获取所有权",哪怕每条日志只有几十字节,争抢成本也会把吞吐吃掉一大截:
上图:共享写游标在核心间来回传递所有权的代价(上);BqLog 让每个生产者拥有专用 SISO 队列,彻底消除争抢(下)。完整推导见《从环形队列到自适应数据总线》
BqLog 的 MISO 环形队列 用 fetch_add 原子分配空间 + 越界回滚处理变长记录冲突;而高频线程则升级到 SISO 专用队列:
MISO 队列:多个生产者线程通过原子游标各占一段空间,单消费者顺序读取
SISO 队列头按缓存行分区:本地状态、共享读写游标各归其位,生产者和消费者不再互相踩
2️⃣ 少写 7 倍的盘:实时压缩日志格式
其他库把"格式化后的文本"整条搬进队列;BqLog 在队列里放的是压缩记录:格式字符串(模板)只写一次,后续同格式的日志只传参数索引 + 编码后的参数值:
同一条日志的两种布局:总线上对齐排列方便读写,落到文件里被压成 5 字节的紧凑记录(模板与线程名跨记录复用)。格式推导见《高性能实时压缩日志格式》
实测 1 线程 400 万条日志的落盘结果:
| 库 | 每条字节数 | 总大小 |
|---|---|---|
| BqLog 压缩 | 12 B | 47 MB |
| quill | 67 B | 267 MB |
| fmtlog | 75 B | 299 MB |
| spdlog | 77 B | 307 MB |
| glog | 87 B | 349 MB |
压缩格式约为文本的 1/7——磁盘 I/O 少了 7 倍,是吞吐差距的很大一部分来源。压缩 Appender 源码在 src/bq_log/log/appender/appender_file_compressed.h。
3️⃣ 热路径上省掉的每一纳秒
- 融合拷贝哈希:格式串拷进队列和计算模板哈希共用同一次内存读取,一次加载、两次使用(文章三);
- 模板缓存:消费者查模板走有界哈希缓存,热路径上几乎不碰锁;
- C++ 快速模式:
BQ_LOG_FAST_INFO宏在调用点绑定格式串,单次调用平均开销从 16.2 ns 压到 6.3 ns,详见 API 参考。
日志线程延迟:单次调用各花多少 ns
吞吐之外,业务线程"喊一嗓子"要多久同样关键(1 个日志线程,macOS):
| 库 | p50 | p99 | p99.9 | 平均 |
|---|---|---|---|---|
| BqLog | 4 ns | 29 ns | 77 ns | 6.3 ns |
| quill | 4 ns | 29 ns | 154 ns | 6.9 ns |
| fmtlog | 16 ns | 166 ns | 227 ns | 27.7 ns |
| spdlog(异步) | 177 ns | 458 ns | 907 ns | 220.2 ns |
BqLog 与 quill、fmtlog 在同一档,但 p99.9 更低(77 vs 154 vs 227 ns);spdlog 慢了一个数量级,Linux 上更是接近两个数量级(1051 ns vs 11.2 ns)。
跑分之外:BqLog 的"隐性"优势
| 特性 | BqLog | spdlog | glog | fmtlog | quill | Log4j2 |
|---|---|---|---|---|---|---|
| 异步写入 | ✅ | ✅ | ❌ | ✅ | ✅ | ✅ |
| 实时压缩 | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| 日志加密(RSA+AES 混合) | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
| 崩溃恢复(Recovery) | ✅ | ❌ | ✅ | ❌ | ✅ | ❌ |
| 多语言统一内核(7 种语言) | ✅ | ❌ | ❌ | ❌ | ❌ | 仅 Java |
| 游戏引擎插件(Unity/Unreal) | ✅ | ❌ | ❌ | ❌ | ❌ | ❌ |
- 💾 崩溃也不丢日志:未消费的记录留在 mmap 文件里,重启后按序回放进 Recovery 段:
崩溃恢复三步走:崩溃时数据留在 mmap 文件 → 重启时校验、重建顺序 → 重放进 Appender 恢复段
- 🌐 跨语言同一套内核:C++、Java、C#、TypeScript、Python、Go 共用一个 C++ 核心,甚至可以在同一进程里共用同一个 Log 对象(wrapper/java/src/bq/log.java 等各语言 Wrapper);
- 🚀 安装即开箱:Homebrew、vcpkg、NuGet、Maven、PyPI、npm 都支持,见集成指南,示例工程在 demo/。
怎么选日志库?一句话指南
- C++ 客户端 / 移动端 / 游戏,或多语言混合项目,日志量大、并发高 → 直接上 BqLog,吞吐、内存、磁盘、崩溃恢复全都要;
- 纯 Java 服务端,团队已有成熟的 Log4j2 配置体系 → Log4j2 依然是稳妥选择,BqLog 在吞吐上更有优势时可作升级项;
- 简单 C++ 单机工具,日志频率低 → spdlog 上手最快;但要留意它异步模式在高并发下的延迟放大问题。
⚠️ 注意:BqLog 的 C++ 数据使用了快速模式(
BQ_LOG_FAST_INFO等宏);普通模式log.info(...)单次调用约 16 ns,整体吞吐差距主要来自消费端,结论不变。
延伸阅读
- 📈 完整跑分与方法论:docs/BENCHMARK_CHS.md
- 🧩 设计三部曲(格式 → 队列 → 执行路径):docs/PERFORMANCE_DESIGN_CHS.md
- 📖 API 与快速模式:docs/API_REFERENCE_CHS.md
- 🔧 配置项详解:docs/CONFIGURATION_CHS.md





