PikiwiDB混合存储架构下的RTC读写流程优化实践

背景与挑战

在分布式KV存储系统PikiwiDB中，混合存储架构通过内存RedisCache缓存热数据、磁盘存储全量数据的模式，已经实现了性能与成本的平衡。但随着业务规模扩大，传统读写模型存在的线程切换开销和请求流转延迟逐渐成为瓶颈，特别是在高并发读场景下，如何进一步降低延迟、提升吞吐成为核心优化方向。

架构设计演进

传统线程模型分析

原PikiwiDB采用网络线程与工作线程分离的架构：

• 网络线程池：处理TCP连接管理、请求解析等I/O密集型任务
• 工作线程池：执行所有数据操作（包括内存/磁盘读写） 这种设计虽然实现了资源隔离，但所有请求必须跨线程处理，带来了额外的上下文切换和队列调度开销。

RTC优化方案

受现代KV存储系统设计启发，PikiwiDB引入Read-Thru-Cache（RTC）优化策略，关键改进包括：

1. 读路径短路优化

   • 网络线程直接访问内存引擎：当判定为读请求时，网络线程绕过工作线程直接查询RedisCache
   • 缓存命中即时响应：若数据存在于内存缓存，结果直接由网络线程返回客户端，实现"零跳转"处理

2. 混合请求路由

   • 写请求与缓存未命中请求仍走原有路径，确保数据一致性
   • 通过原子计数器实现无锁的命中率统计，动态调整路由策略

3. 顺序性保证机制

   • 利用TCP协议栈的请求排队特性，确保同一连接的读写顺序
   • 示例：对于"SET X=3; GET X"序列，保证GET总能读到最新SET结果

实现细节

线程模型重构

// 伪代码示例：网络线程处理逻辑
void NetThread::OnRequest(Request* req) {
    if (req->IsReadCommand() && cache->TryGet(req->key, &value)) {
        conn->SendResponse(value); // 快速路径
    } else {
        worker_pool->Enqueue(req); // 慢速路径
    }
}

性能优化效果

在典型80%缓存命中率场景下，新架构展现出显著优势：

• 读吞吐提升30%+：主要来自线程切换开销的消除
• 尾延迟降低40%：得益于网络线程的直返机制
• CPU利用率优化：减少不必要的线程间通信

工程实践考量

1. 热点识别：采用动态采样策略识别热点key，配合LRU-K算法提升缓存命中率
2. 资源隔离：限制网络线程的CPU使用配额，防止缓存查询占用过多I/O时间片
3. 平滑升级：通过配置开关控制新旧模式切换，支持灰度发布

未来展望

当前实现仍存在进一步优化空间：

• 智能预取：基于历史访问模式预测加载热点数据
• 异步写回：对非关键写请求采用批量合并提交
• 异构硬件：利用PMEM等新硬件特性优化缓存层次

PikiwiDB通过这次RTC优化，不仅提升了现有混合存储架构的性能天花板，更为后续响应式架构演进奠定了坚实基础。这种读写路径差异化的设计思路，对同类存储系统具有重要参考价值。