FlyPhotos缓存架构深度剖析:SQLite+LRU磁盘缓存与内存双层缓存的实现思路
FlyPhotos缓存架构深度剖析:SQLite+LRU磁盘缓存与内存双层缓存的实现思路
FlyPhotos 是 Windows 平台上以"极速"著称的轻量照片查看器,它能做到照片秒开、上千张照片平滑翻页,核心秘诀正是一套 SQLite+LRU 磁盘缓存 与 内存预取缓存 组成的双层缓存架构。本文将结合真实源码,带你快速看懂这套架构的设计思路与关键参数。
一、为什么照片查看器必须靠"缓存"生存
照片解码是 CPU 和 GPU 的昂贵操作:一张相机 RAW 或 5000 万像素 JPEG 的完整解码可能要数百毫秒。而用户翻照片的速度远快于解码速度,尤其 FlyPhotos 主打"按住方向键飞行浏览"(fly-through mode),没有缓存就是满屏加载圈。
FlyPhotos 的解法是双层结构:
| 层级 | 载体 | 生命周期 | 职责 |
|---|---|---|---|
| 磁盘层 | SQLite 数据库文件 | 跨会话持久保存 | 存 ≤800px 的 JPEG 缩略图,保证"再打开也是秒开" |
| 内存层 | 进程内位图(GPU 显存) | 仅当前会话 | 围绕当前照片预取邻居,保证"翻页零等待" |
两层各司其职:内存层管"当下",磁盘层管"未来"。
二、磁盘层:SQLite + LRU 的持久化缩略图缓存
2.1 缓存里到底存了什么
磁盘缓存本体是 DiskCacherWithSqliteFaster.cs,一个线程安全单例。它把数据库文件 FlyPhotosCache_sqlite_2.db 放在用户数据目录下(路径由 PathResolver.cs 统一解析,MSIX 打包版在 AppData,绿色版在 %LOCALAPPDATA%\FlyPhotos)。
核心是一张 images 表,一行对应一张照片:
| 字段 | 类型 | 作用 |
|---|---|---|
filePath |
TEXT(唯一) | 源文件绝对路径,即缓存键 |
imageData |
BLOB | 最长边 ≤800px 的 JPEG(质量 85,4:2:0 采样) |
lastAccessed |
INTEGER | Unix 时间戳,LRU 排序依据 |
lastModified |
TEXT | 源文件最后修改时间(mtime),用于自动失效 |
actualWidth / actualHeight |
INTEGER | 原图真实尺寸,命中时无需解码即可获知 |
两个巧妙的设计:
- 自失效:每次读缓存都比对 mtime,源文件一旦变动,旧条目自动删除并在下次访问时重新生成,用户完全无感。
- 尺寸随图存储:缓存命中时顺便返回原图宽高,后续排版、缩放计算全部免解码。
2.2 LRU 淘汰:20000 条上限 + 批量清理
缓存不能无限膨胀。DiskCacherWithSqliteFaster.cs 中的关键常量是:
| 参数 | 默认值 | 说明 |
|---|---|---|
MaxItemCount |
20,000 | 数据库最多保留的缩略图条目数 |
ThumbMaxSize |
800 px | 存入 BLOB 的最长边上限,小图原尺寸保存 |
EvictionFactor |
0.25 | 满员时一次淘汰最旧 25%(约 5000 条) |
LRU 的实现分两半:
- 读时 Touch:每次缓存命中都会更新该行的
lastAccessed(UPDATE images SET lastAccessed = $a),保证访问热度始终新鲜; - 写时批量淘汰:写入前若行数达到 20,000,用一条 CTE 语句按
lastAccessed ASC一次删掉最旧的 5000 条,把淘汰成本摊薄到每次写入上,避免了"逐条删除"的 I/O 尖峰。
更省心的细节:行数维护在一个内存计数器 _rowCount 里,增删时同步修正,完全避免了每次写入都做 COUNT(*) 全表扫描。
2.3 为"可再生数据"激进调优的 SQLite 参数
在 InitializeDatabase 中可以看到一组非常激进的 PRAGMA:
| 参数 | 设置 | 为什么敢这么干 |
|---|---|---|
journal_mode |
WAL | 减少写锁争用,读写可重叠 |
synchronous |
OFF | 缓存是"可丢弃数据",掉电最多损失缓存,下次自动重建,何必每次 fsync |
temp_store |
MEMORY | 临时表放内存 |
mmap_size |
256 MB | 把数据库文件映射进地址空间,顺序读更快 |
这条"缓存是可以随时删掉重建的数据,所以持久化强度可以全部让位于速度"的思想,是整篇文章最值得记住的设计哲学。
其他性能手法同样值得学习:
- 预编译语句复用:查询、Touch、删除、Upsert、批量淘汰等 SQL 在构造时一次性创建并复用,省去反复解析;
- 串行化门闩:
SemaphoreSlim(1,1)把全部数据库操作串行化——因为每次读都伴随 Touch 写,"无锁读"在这里根本不存在; - 缓冲池:读写 BLOB 一律走
ArrayPool<byte>租借,绕开大对象堆(LOH)碎片化;解码在锁外进行,锁内只碰数据库; - 失败静默降级:任何缓存读写异常只写日志、返回"未命中",主流程回退到直接从文件解码,缓存故障永远不会让用户看到错误界面。
三、内存层:PrefetchCache 的工作线程与滑动窗口
3.1 滑动窗口:围绕当前照片预取邻居
内存层主体是 PrefetchCache.cs。它不把"预取"理解成"加载当前照片",而是以当前照片为中心维护一个滑动窗口,提前把邻居照片的位图解码好放在内存里。
每当你按方向键翻页,MoveWindow 被调用,窗口随之平移:
- 滑出窗口的照片:立即
Dispose位图,内存立刻归还; - 滑入窗口且尚未加载的:压入对应层级的任务队列。
窗口大小可在设置中调整,默认值见 AppSettings.cs:
| 层级 | 每侧预取数量 | 原因 |
|---|---|---|
| HQ(主视图高清图) | 2 张 | 解码重、位图大,只预热最近邻 |
| Preview(预览/缩略图带) | 200 张 | 位图小,多备着才能让缩略图带满屏无加载 |
窗口两侧交替扩展的顺序由 FindNeighborKeys 生成——先右后左逐级外扩,保证"下一个"和"上一个"优先级最高。界面底部的 N/M < Cache > N/M 状态条(FireProgress)实时显示窗口两侧各预热了多少张,让这套机制"看得见"。
3.2 三条工作线程 + CPU 核心数节流
Start 会启动三条后台线程,各自持有独立的任务队列、"进行中"集合和"已完成"集合:
| 线程 | 优先级 | 职责 |
|---|---|---|
PreviewCacheBuilder |
普通 | 解码窗口内照片的预览图(缩略图带 + 首屏占位图) |
HqCacheBuilder |
AboveNormal | 解码相邻 2 张主视图高清图 |
DiskCacheBuilder |
普通 | 把新解码的预览图写回 SQLite 磁盘缓存 |
三条线程都受 SemaphoreSlim(Environment.ProcessorCount) 节流——并发解码数不超过物理核心数,防止预取任务把 CPU 打满反噬交互流畅度。
针对"飞行浏览"场景还有两个贴心设计:
- 突发模式刹车:持续按住方向键时(
_isBursting),HQ 线程主动停泊,不再解码正在被快速跳过的照片,松键后自动恢复; - 超大图只留中心:需要分块(tile)金字塔渲染的超大照片,其 CPU 瓦片可能达数 GB,只有窗口中心照片才保留,邻居直接释放,回到中心时再重建。
3.3 写回闭环:从内存回到磁盘
双层缓存的"闭环"发生在 LoadPreviewAsync:凡是本次从磁盘原图解码而来(Origin.Disk)的预览图,加载完成后会被压入 _diskCacheQueue,由 DiskCacheBuilder 线程调用 DiskCacherWithSqlite 的 PutInCache 完成"缩放至 800px → JPEG 编码 → Upsert 入库"。
Origin 枚举(见 Enums.cs)精确区分了位图的来源——DiskCache(命中缓存)、Disk(现场解码)、ErrorScreen、Undefined——只写回真正解码过的图,天然避免了对缓存命中项的重复写入。
缩略图带本身还有第三级缓存:ThumbNailController.cs 用两代字典在 GPU 上缓存正在绘制的缩略图位图,滚出视口的自动释放。至此形成"SQLite → 内存位图 → GPU 位图"的三级递进。
四、一次完整的缓存读取流程
把两层串起来,看一张照片被打开时发生了什么:
- 用户打开照片,ImageReader.GetFirstPreviewCoreAsync 第一步就查询磁盘缓存
ReturnFromCache; - 命中:从 BLOB 读出 JPEG,在锁外解码成 GPU 位图,标记
Origin.DiskCache直接上屏——首次解码的昂贵步骤被整个跳过,这就是"秒开"; - 未命中:走格式解码器(WIC / 原生 HEIF、AVIF 解码器等)现场解码,标记
Origin.Disk; - 现场解码的预览图随后进入写回队列,由
DiskCacheBuilder存进 SQLite——这次慢,下次快; - 与此同时,HQ 线程已在后台解码左右各 2 张邻居,你按方向键的瞬间,下一张图已在内存里等着。
冷启动时首次打开大文件夹确实会有一批现场解码,但从第二次打开起,绝大多数照片全部走缓存命中路径。
五、核心源码导航
| 文件 | 职责 |
|---|---|
| DiskCacherWithSqliteFaster.cs | SQLite+LRU 磁盘缓存:读取、写回、淘汰、清库(ClearAllAsync + VACUUM) |
| PrefetchCache.cs | 内存预取层:三线程、滑动窗口、磁盘写回队列 |
| ImageReader.cs | 预览加载入口,缓存命中检查的第一现场 |
| Photo.cs | 单张照片的 Preview/HQ 位图持有与加载状态机 |
| Enums.cs | Origin 枚举:区分缓存命中与现场解码 |
| AppSettings.cs | 预取窗口大小等可配置项 |
| PathResolver.cs | 数据库文件所在目录的解析 |
| README.md | 官方对 "In-memory and disk caching" 特性的描述 |
六、这套架构给开发者的 5 点启示
- 缓存是"可再生的",把持久化强度让位给速度——
synchronous=OFF都敢开,前提是你的数据丢了能重建; - LRU 用批量淘汰——满员时一次删 25%,成本摊薄,避免逐条删除的 I/O 尖峰;
- 用源文件 mtime 做失效凭据——比"清缓存"按钮可靠得多,文件一变缓存自动作废;
- "滑动窗口 + 工作线程"是预取的通用范式——窗口定边界(存什么)、队列定执行(怎么干)、节流器定强度(干多快);
- 缓存路径必须"静默失败"——任何异常只降级不报错,用户看到的最多是一张慢一点的照片,而不是一个错误界面。
这套 SQLite+LRU 磁盘缓存与内存预取窗口的双层组合,正是 FlyPhotos 在数千张照片的文件夹里依然"零等待"的全部秘密。
