FlyPhotos缓存架构深度剖析:SQLite+LRU磁盘缓存与内存双层缓存的实现思路

原创2026-10-24 10:51:321,754 阅读
文章标签:桌面应用图像处理

FlyPhotos缓存架构深度剖析:SQLite+LRU磁盘缓存与内存双层缓存的实现思路

FlyPhotos 是 Windows 平台上以"极速"著称的轻量照片查看器,它能做到照片秒开、上千张照片平滑翻页,核心秘诀正是一套 SQLite+LRU 磁盘缓存 与 内存预取缓存 组成的双层缓存架构。本文将结合真实源码,带你快速看懂这套架构的设计思路与关键参数。

FlyPhotos 照片查看器缓存架构效果:全屏流畅浏览照片的界面

一、为什么照片查看器必须靠"缓存"生存

照片解码是 CPU 和 GPU 的昂贵操作:一张相机 RAW 或 5000 万像素 JPEG 的完整解码可能要数百毫秒。而用户翻照片的速度远快于解码速度,尤其 FlyPhotos 主打"按住方向键飞行浏览"(fly-through mode),没有缓存就是满屏加载圈。

FlyPhotos 的解法是双层结构:

层级 载体 生命周期 职责
磁盘层 SQLite 数据库文件 跨会话持久保存 存 ≤800px 的 JPEG 缩略图,保证"再打开也是秒开"
内存层 进程内位图(GPU 显存) 仅当前会话 围绕当前照片预取邻居,保证"翻页零等待"

两层各司其职:内存层管"当下",磁盘层管"未来"。

二、磁盘层:SQLite + LRU 的持久化缩略图缓存

2.1 缓存里到底存了什么

磁盘缓存本体是 DiskCacherWithSqliteFaster.cs,一个线程安全单例。它把数据库文件 FlyPhotosCache_sqlite_2.db 放在用户数据目录下(路径由 PathResolver.cs 统一解析,MSIX 打包版在 AppData,绿色版在 %LOCALAPPDATA%\FlyPhotos)。

核心是一张 images 表,一行对应一张照片:

字段 类型 作用
filePath TEXT(唯一) 源文件绝对路径,即缓存键
imageData BLOB 最长边 ≤800px 的 JPEG(质量 85,4:2:0 采样)
lastAccessed INTEGER Unix 时间戳,LRU 排序依据
lastModified TEXT 源文件最后修改时间(mtime),用于自动失效
actualWidth / actualHeight INTEGER 原图真实尺寸,命中时无需解码即可获知

两个巧妙的设计:

  • 自失效:每次读缓存都比对 mtime,源文件一旦变动,旧条目自动删除并在下次访问时重新生成,用户完全无感。
  • 尺寸随图存储:缓存命中时顺便返回原图宽高,后续排版、缩放计算全部免解码。

2.2 LRU 淘汰:20000 条上限 + 批量清理

缓存不能无限膨胀。DiskCacherWithSqliteFaster.cs 中的关键常量是:

参数 默认值 说明
MaxItemCount 20,000 数据库最多保留的缩略图条目数
ThumbMaxSize 800 px 存入 BLOB 的最长边上限,小图原尺寸保存
EvictionFactor 0.25 满员时一次淘汰最旧 25%(约 5000 条)

LRU 的实现分两半:

  1. 读时 Touch:每次缓存命中都会更新该行的 lastAccessed(UPDATE images SET lastAccessed = $a),保证访问热度始终新鲜;
  2. 写时批量淘汰:写入前若行数达到 20,000,用一条 CTE 语句按 lastAccessed ASC 一次删掉最旧的 5000 条,把淘汰成本摊薄到每次写入上,避免了"逐条删除"的 I/O 尖峰。

更省心的细节:行数维护在一个内存计数器 _rowCount 里,增删时同步修正,完全避免了每次写入都做 COUNT(*) 全表扫描。

2.3 为"可再生数据"激进调优的 SQLite 参数

在 InitializeDatabase 中可以看到一组非常激进的 PRAGMA:

参数 设置 为什么敢这么干
journal_mode WAL 减少写锁争用,读写可重叠
synchronous OFF 缓存是"可丢弃数据",掉电最多损失缓存,下次自动重建,何必每次 fsync
temp_store MEMORY 临时表放内存
mmap_size 256 MB 把数据库文件映射进地址空间,顺序读更快

这条"缓存是可以随时删掉重建的数据,所以持久化强度可以全部让位于速度"的思想,是整篇文章最值得记住的设计哲学。

其他性能手法同样值得学习:

  • 预编译语句复用:查询、Touch、删除、Upsert、批量淘汰等 SQL 在构造时一次性创建并复用,省去反复解析;
  • 串行化门闩:SemaphoreSlim(1,1) 把全部数据库操作串行化——因为每次读都伴随 Touch 写,"无锁读"在这里根本不存在;
  • 缓冲池:读写 BLOB 一律走 ArrayPool<byte> 租借,绕开大对象堆(LOH)碎片化;解码在锁外进行,锁内只碰数据库;
  • 失败静默降级:任何缓存读写异常只写日志、返回"未命中",主流程回退到直接从文件解码,缓存故障永远不会让用户看到错误界面。

三、内存层:PrefetchCache 的工作线程与滑动窗口

3.1 滑动窗口:围绕当前照片预取邻居

内存层主体是 PrefetchCache.cs。它不把"预取"理解成"加载当前照片",而是以当前照片为中心维护一个滑动窗口,提前把邻居照片的位图解码好放在内存里。

每当你按方向键翻页,MoveWindow 被调用,窗口随之平移:

  • 滑出窗口的照片:立即 Dispose 位图,内存立刻归还;
  • 滑入窗口且尚未加载的:压入对应层级的任务队列。

窗口大小可在设置中调整,默认值见 AppSettings.cs:

层级 每侧预取数量 原因
HQ(主视图高清图) 2 张 解码重、位图大,只预热最近邻
Preview(预览/缩略图带) 200 张 位图小,多备着才能让缩略图带满屏无加载

窗口两侧交替扩展的顺序由 FindNeighborKeys 生成——先右后左逐级外扩,保证"下一个"和"上一个"优先级最高。界面底部的 N/M < Cache > N/M 状态条(FireProgress)实时显示窗口两侧各预热了多少张,让这套机制"看得见"。

3.2 三条工作线程 + CPU 核心数节流

Start 会启动三条后台线程,各自持有独立的任务队列、"进行中"集合和"已完成"集合:

线程 优先级 职责
PreviewCacheBuilder 普通 解码窗口内照片的预览图(缩略图带 + 首屏占位图)
HqCacheBuilder AboveNormal 解码相邻 2 张主视图高清图
DiskCacheBuilder 普通 把新解码的预览图写回 SQLite 磁盘缓存

三条线程都受 SemaphoreSlim(Environment.ProcessorCount) 节流——并发解码数不超过物理核心数,防止预取任务把 CPU 打满反噬交互流畅度。

针对"飞行浏览"场景还有两个贴心设计:

  • 突发模式刹车:持续按住方向键时(_isBursting),HQ 线程主动停泊,不再解码正在被快速跳过的照片,松键后自动恢复;
  • 超大图只留中心:需要分块(tile)金字塔渲染的超大照片,其 CPU 瓦片可能达数 GB,只有窗口中心照片才保留,邻居直接释放,回到中心时再重建。

3.3 写回闭环:从内存回到磁盘

双层缓存的"闭环"发生在 LoadPreviewAsync:凡是本次从磁盘原图解码而来(Origin.Disk)的预览图,加载完成后会被压入 _diskCacheQueue,由 DiskCacheBuilder 线程调用 DiskCacherWithSqlite 的 PutInCache 完成"缩放至 800px → JPEG 编码 → Upsert 入库"。

Origin 枚举(见 Enums.cs)精确区分了位图的来源——DiskCache(命中缓存)、Disk(现场解码)、ErrorScreen、Undefined——只写回真正解码过的图,天然避免了对缓存命中项的重复写入。

缩略图带本身还有第三级缓存:ThumbNailController.cs 用两代字典在 GPU 上缓存正在绘制的缩略图位图,滚出视口的自动释放。至此形成"SQLite → 内存位图 → GPU 位图"的三级递进。

四、一次完整的缓存读取流程

把两层串起来,看一张照片被打开时发生了什么:

  1. 用户打开照片,ImageReader.GetFirstPreviewCoreAsync 第一步就查询磁盘缓存 ReturnFromCache;
  2. 命中:从 BLOB 读出 JPEG,在锁外解码成 GPU 位图,标记 Origin.DiskCache 直接上屏——首次解码的昂贵步骤被整个跳过,这就是"秒开";
  3. 未命中:走格式解码器(WIC / 原生 HEIF、AVIF 解码器等)现场解码,标记 Origin.Disk;
  4. 现场解码的预览图随后进入写回队列,由 DiskCacheBuilder 存进 SQLite——这次慢,下次快;
  5. 与此同时,HQ 线程已在后台解码左右各 2 张邻居,你按方向键的瞬间,下一张图已在内存里等着。

冷启动时首次打开大文件夹确实会有一批现场解码,但从第二次打开起,绝大多数照片全部走缓存命中路径。

五、核心源码导航

文件 职责
DiskCacherWithSqliteFaster.cs SQLite+LRU 磁盘缓存:读取、写回、淘汰、清库(ClearAllAsync + VACUUM)
PrefetchCache.cs 内存预取层:三线程、滑动窗口、磁盘写回队列
ImageReader.cs 预览加载入口,缓存命中检查的第一现场
Photo.cs 单张照片的 Preview/HQ 位图持有与加载状态机
Enums.cs Origin 枚举:区分缓存命中与现场解码
AppSettings.cs 预取窗口大小等可配置项
PathResolver.cs 数据库文件所在目录的解析
README.md 官方对 "In-memory and disk caching" 特性的描述

六、这套架构给开发者的 5 点启示

  1. 缓存是"可再生的",把持久化强度让位给速度——synchronous=OFF 都敢开,前提是你的数据丢了能重建;
  2. LRU 用批量淘汰——满员时一次删 25%,成本摊薄,避免逐条删除的 I/O 尖峰;
  3. 用源文件 mtime 做失效凭据——比"清缓存"按钮可靠得多,文件一变缓存自动作废;
  4. "滑动窗口 + 工作线程"是预取的通用范式——窗口定边界(存什么)、队列定执行(怎么干)、节流器定强度(干多快);
  5. 缓存路径必须"静默失败"——任何异常只降级不报错,用户看到的最多是一张慢一点的照片,而不是一个错误界面。

这套 SQLite+LRU 磁盘缓存与内存预取窗口的双层组合,正是 FlyPhotos 在数千张照片的文件夹里依然"零等待"的全部秘密。

登录后查看全文
FlyPhotos