Rust重写对象存储缓存Cachey:S3兼容读透缓存的5大核心特性与16MiB页面加速原理

原创2026-11-02 20:24:421,452 阅读

Rust重写对象存储缓存Cachey:S3兼容读透缓存的5大核心特性与16MiB页面加速原理

Cachey 是一款用 Rust 编写的高性能对象存储读透缓存(read-through cache),面向任意 S3 兼容后端(AWS S3、S3 Express、MinIO、RustFS 等)。它把客户端的字节范围请求映射为固定 16 MiB 页面,用"内存 + 磁盘"混合缓存加速重复读取,并通过副本选择、对冲请求(hedging)和准入控制压制对象存储的尾延迟。本文带你快速看懂 Cachey 缓存服务的 5 大核心特性与 16 MiB 页面加速原理。

一、为什么对象存储前面要加一层缓存?

🤔 使用 S3 这类对象存储时,常见的痛点有:

  • 首字节延迟:跨区域读取、冷启动时几十到上百毫秒起步
  • 尾延迟不可控:热点请求撞上慢节点,p99 远高于中位数
  • 重复下载浪费:同一对象(如视频分片、模型文件)被反复从远端拉取
  • 成本:每次 GET 都计费,重复读等于多花钱

Cachey 的定位就是在应用与 S3 之间加一层读透缓存:读请求先查缓存,未命中才去对象存储下载,下载完成后写入缓存供后续请求复用。它专为**不可变对象(immutable blobs)**设计,因此无需处理缓存一致性问题,实现简单且性能极高。

二、30 秒认识 Cachey 的 API

Cachey 暴露一个极简的 HTTP API,核心只有一个读接口:

HEAD|GET /fetch/{kind}/{object}
Range: bytes={first}-{last}
请求头 说明
Range 必填,指定要读的字节范围
C0-Bucket 可重复出现,声明包含该对象的多个冗余桶(第一个为优先桶)
C0-Config 按请求覆盖 S3 超时、重试等参数
C0-Object-Size 告知对象真实大小,用于边界判断与配额
C0-Exact 置为 true 时按精确范围(≤16 MiB)缓存,而非整页

响应遵循标准 HTTP 语义(206 Partial Content、404 Not Found 等),并通过 C0-Status 头返回"来自哪个桶、何时写入缓存"等元信息,方便客户端做负载均衡与诊断。

此外还有两个运维接口:

  • GET /stats:吞吐统计(JSON),可用于负载均衡与健康检查
  • GET /metrics:Prometheus 文本格式的完整指标

完整的请求/响应示例见 README.md。

三、5 大核心特性详解

特性 1:16 MiB 固定页面缓存——加速原理的核心

📦 Cachey 把任意对象切成固定 16 MiB 的页面(page),缓存条目以"页面"为单位,而不是以请求范围为单位。源码中页面大小就是一个常量:PAGE_SIZE = 16 * 1024 * 1024,见 src/service/mod.rs。

这个设计带来三个关键收益:

  1. 请求范围到页面对齐:page_id = 字节偏移 / 16 MiB。无论客户端请求 bytes=1048576-18874367 还是 bytes=0-16777215,只要落在同一个 16 MiB 页内,就命中同一条缓存——缓存键稳定且稀疏,命中率大幅提升
  2. 一次下载,多次复用:未命中时整页下载入缓存,之后对该页内任意子范围的读取都是纯本地命中,不再产生后端流量
  3. 磁盘布局规整:每页大小固定,磁盘缓存的块可以精确对齐到 4 个页一组的块(见 src/cache.rs),配合 direct IO 与 io_uring 减少系统开销

简单说:范围请求变页面读取,页面读取变本地内存/磁盘读取,这就是"Cachey 16MiB 页面加速"的本质。

特性 2:内存 + 磁盘混合缓存(foyer 引擎)

⚡ 缓存层由高性能 Rust 缓存库 foyer 驱动,默认走 WriteOnEviction 策略:

  • 内存层:默认 4 GiB(--memory 可调),热页常驻内存,纳秒级命中
  • 磁盘层:--disk-path 指定目录或裸块设备,--disk-kind 支持 fs(文件系统)或 block(裸设备),Linux 下自动启用 direct IO 绕过页缓存;--iouring 开启 io_uring 异步盘 IO
  • 权重感知淘汰:缓存权重按"键 + 值 + 页头"的真实占用计算(src/cache.rs),保证内存与磁盘预算精确

写缓冲与磁盘块均按整页对齐(4 页一缓冲、4 页一块),页条目约 16 MiB + 少量框架开销向上对齐 4 KiB,保证磁盘回收粒度高效,见 src/cache.rs 的常量注释。

特性 3:C0-Exact 精确范围模式——小读大对象不再浪费

🎯 默认模式下,哪怕你只读 1 KiB,也会触发一次整页 16 MiB 下载并缓存整页。对于"大对象总被按小范围完整读取"的负载,这有点浪费。

C0-Exact: true 请求头可以改变行为:把请求的精确字节范围作为单独一条缓存条目下载缓存(上限 16 MiB),而不是展开成它所跨的页。只有完全相同的范围请求才会命中该条目。

适用场景:日志片段、模型权重按块读取等"范围固定、整段复读"的负载。详见 README.md 中 C0-Exact 行为说明。

特性 4:多副本选择 + 对冲请求,压住对象存储尾延迟

🛰️ 这是 Cachey 最有"工程含金量"的部分,完整设计文档见 docs/replica-reads.md。

副本选择:客户端可用多个 C0-Bucket 头声明同一对象所在的全部桶。Cachey 会按"后端健康度 + 最近延迟 + 剩余下载预算"动态排序桶,第一个桶获得本地性优先权,其余桶保留作为回退。桶失败会降低其优先级,成功读取与恢复探针会把它拉回来。

尺寸感知延迟模型:每个桶维护三条延迟模型(首字节、body、整体请求),拟合为 中位数 = 固定开销 + 字节数 × 每字节开销 的线性式,并推导 p99。模型观测值 15 秒半衰期,最多保留 1024 个样本覆盖不同尺寸档位——这意味着小读的慢不会错误拖高对大读的预估,反之亦然。

对冲请求(hedging):一次下载最多并行 3 份副本,先返回且校验通过的胜出,其余立即取消。对冲延迟由首字节模型的 p99 决定(上限为 1.5 倍中位数),并且对冲有独立预算(默认 --hedge-budget-percent 5,即每 20 次成功下载允许 1 次启动对冲)。这套机制让单次慢副本不再绑架整个请求,p99 尾延迟被显著压平。

回退与恢复:桶被降权或 30 秒无结果时会发恢复探针试探;缺对象、范围不满足、过载(429/503/SlowDown)等错误都有精确语义,且准入失败不会触发回退(因为所有桶共享同一条准入队列)。

项目甚至内置了仿真压测平台:用暂停时钟的 Tokio 模拟 S3 各档位的桶(本地/跨区域/S3 Express/Capacitor),验证故障、过载、恢复场景下的完成率与 p99,基线结果固定在 docs/simulation/REFERENCE.md。

特性 5:请求合并 + 下载准入控制,高峰期不雪崩

🚦 两个保护机制保证 Cachey 在高并发下依然可控:

  • 请求合并(coalescing):同一缓存条目的并发未命中请求被合并为一次后端下载,多个读者共享结果,避免"缓存击穿"式重复拉取
  • 准入控制(admission):每个活动下载按预期字节数预留配额(每页 16 MiB 或精确范围长度),默认 1 GiB 下载内存最多容纳 64 个整页并发;队列排队超过阈值会快速失败(HTTP 503)而非无限积压,防止慢下载拖垮整体

相关实现位于 src/object_store/admission.rs 与 src/object_store/budget.rs。

四、快速部署:一条命令启动 Cachey

🚀 Cachey 提供官方 Docker 镜像,也可用源码构建。核心命令行参数一览:

--memory <MEMORY>            内存缓存上限,默认 4GiB
--disk-path <DISK_PATH>      磁盘缓存目录或块设备
--disk-capacity <CAP>        磁盘容量,默认取可用空间 80%
--iouring                    Linux 下启用 io_uring 盘 IO
--bucket-timeout-ms <MS>     单桶下载超时,默认 5000 ms
--download-timeout-ms <MS>   含回退的总下载超时,默认 10000 ms
--hedge-budget-percent <N>   对冲预算百分比,0 禁用早期对冲
--tls-self / --tls-cert      TLS 配置

典型启动示例(块设备磁盘缓存 + 自签 TLS):

server --memory 8GiB --disk-path /dev/nvme1n1 --disk-kind block \
       --disk-capacity 500GiB --iouring --tls-self

开发阶段项目用 justfile 组织常用命令(just build、just test、just run)。想本地跑测试可直接参考 tests/server_integration_test.rs 与 tests/downloader_integration_test.rs。

五、监控 Cachey 缓存:关键指标速查

📊 Cachey 的 Prometheus 指标(src/service/metrics.rs)以 cachey_ 前缀命名,运维重点盯这几类(完整清单见 docs/replica-reads.md):

指标 含义
cachey_bucket_latency_base_seconds 零字节请求的中位延迟(固定开销)
cachey_bucket_latency_seconds_per_byte 每字节追加延迟
cachey_bucket_latency_tail_ratio p99 相对中位数的倍数(尾延迟健康度)
cachey_download_latency_seconds 成功下载延迟(含准入与回退)
cachey_bucket_error_ratio 后端健康度
cachey_first_chunk_latency_seconds 到首块的处理耗时

预测类计数器(cachey_bucket_latency_predictions_total / _exceeded_total)可以量化延迟模型准不准:模型准确时,约一半观测超中位数、1% 超 p99。

六、源码结构导览

🗂️ 想深入源码?按这条线读最快:

路径 内容
src/service/mod.rs 页面映射(PAGE_SIZE)、缓存条目切片、核心服务逻辑
src/service/routes.rs HTTP 路由、请求头解析与状态码语义
src/cache.rs foyer 混合缓存构建、磁盘引擎参数
src/object_store/downloader.rs 下载执行器:错误模型、回退判定
src/object_store/downloader/replicas.rs 副本选择与对冲调度
src/object_store/stats/ 尺寸感知延迟模型与采样(reservoir)
src/object_store/simulation/ 内置仿真压测后端
docs/replica-reads.md 副本读设计文档(选型/对冲/限流/错误语义)

七、总结:Cachey 适合谁?

✅ 适合:

  • 大量不可变对象被反复范围读取的业务(视频流媒体、模型文件、数据集分片)
  • 多区域/多桶冗余部署,需要自动故障转移与尾延迟治理
  • 已有 S3 兼容后端,想零侵入加缓存层(只需把读请求指向 Cachey 的 /fetch)

⚠️ 注意:

  • 专为只读不可变对象设计,不处理写一致性
  • /fetch API 要求携带精确的 Range 头
  • 需要每页状态(多页读取)时建议使用 HTTP/2,页面状态通过 trailer 返回

如果你想找一个简单、快速、免费开源的对象存储缓存方案,Cachey 用 Rust 把"页面缓存 + 混合介质 + 对冲下载"这套组合拳做到了相当精细的工程化,值得放进你的技术栈评估清单。

登录后查看全文
cachey