Caffeine缓存库内存增长问题分析与解决方案
2025-05-13 06:29:48作者:余洋婵Anita
内存泄漏现象分析
在使用Caffeine缓存库时,开发者遇到了一个典型的内存增长问题。配置了一个60分钟过期时间、最大容量为20,000项的缓存后,发现内存每隔60分钟就会出现一次明显的增长,并且这些内存似乎永远不会被垃圾回收。有趣的是,当添加.weakKeys
和.weakValues
配置后,内存问题得到解决,但代价是缓存命中率降为零。
问题背景
该应用场景中缓存使用具有以下特点:
- 每秒多次读取操作
- 共配置了4个独立的缓存实例
- 部分缓存返回Optional包装的自定义类对象
- 两个缓存非常活跃(每秒数十万次get操作)
- 两个缓存相对不活跃
专家诊断思路
1. 缓存过期机制分析
Caffeine的过期清理机制采用惰性策略,主要在以下情况下触发:
- 写入操作时
- 足够数量的读取操作触发维护周期
- 显式调用清理方法
对于不活跃的缓存,过期条目可能不会立即被清理,导致内存暂时性增长。这种情况下,建议启用系统调度器(scheduler(Scheduler.systemScheduler())
),通过后台线程基于下一个过期时间触发维护操作。
2. 并发与性能考量
可能出现问题的几个关键点:
- 长时间运行的加载操作:如果自定义Redis客户端没有设置合理的网络超时,僵尸请求可能阻塞整个缓存操作
- ForkJoinPool.commonPool()过载:当默认执行器被I/O密集型任务占满时,缓存清理任务可能被延迟
- 哈希冲突:新条目与被移除条目位于同一哈希桶时,ConcurrentHashMap会阻塞移除操作直到完成
3. 内存分析建议
对于此类问题,专家建议采用以下诊断方法:
- 获取生产环境的JFR(Java Flight Recorder)记录
- 分析堆转储(Heap Dump)
- 启用原生内存跟踪(Native Memory Tracking)
- 收集线程转储(Thread Dump)
- 启用缓存统计信息(recordStats)
解决方案与实践
1. 配置优化
针对不同活跃度的缓存,可采取差异化配置:
// 高活跃度缓存配置
Caffeine.newBuilder()
.expireAfterWrite(Duration.ofMinutes(60))
.maximumSize(20_000)
.scheduler(Scheduler.systemScheduler())
.executor(Runnable::run) // 避免使用commonPool
.build(key -> customRedisClient.getIsExpired(key));
// 低活跃度缓存配置
Caffeine.newBuilder()
.expireAfterWrite(Duration.ofMinutes(60))
.maximumSize(5_000)
.build(key -> customRedisClient.getIsExpired(key));
2. 资源限制
确保Redis客户端配置了合理的超时:
// 示例Redis客户端配置
RedisClient client = RedisClient.create()
.setDefaultConnectTimeout(Duration.ofSeconds(5))
.setDefaultReadTimeout(Duration.ofSeconds(3));
3. JVM调优
对于现代JVM版本(Java 12+),可以利用以下特性:
- G1垃圾收集器的即时内存归还(JEP-346)
- ZGC的内存归还功能(JEP-351)
- 自适应GC调优(JEP-387)
建议配置:
-XX:+UseG1GC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/path/to/dumps
经验总结
-
监控先行:在生产环境部署前,应该充分测试缓存的内存行为,特别是长时间运行的场景
-
差异化配置:不同活跃度的缓存应该采用不同的配置策略
-
防御性编程:所有外部依赖(如Redis)都应设置合理的超时
-
工具链准备:提前配置好JFR、堆转储等诊断工具,便于快速定位问题
-
渐进式优化:从简单配置开始,根据实际表现逐步调整参数
通过系统性的分析和针对性优化,可以有效解决Caffeine缓存的内存增长问题,同时保持良好的缓存命中率。关键在于理解缓存的工作机制,并根据实际使用场景进行合理配置。
登录后查看全文
热门项目推荐
相关项目推荐
PaddleOCR-VL
PaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
openPangu-Ultra-MoE-718B-V1.1
昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++0135AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00Spark-Scilit-X1-13B
FLYTEK Spark Scilit-X1-13B is based on the latest generation of iFLYTEK Foundation Model, and has been trained on multiple core tasks derived from scientific literature. As a large language model tailored for academic research scenarios, it has shown excellent performance in Paper Assisted Reading, Academic Translation, English Polishing, and Review Generation, aiming to provide efficient and accurate intelligent assistance for researchers, faculty members, and students.Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile011
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选
收起

deepin linux kernel
C
23
6

OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
231
2.32 K

仓颉编译器源码及 cjdb 调试工具。
C++
112
78

React Native鸿蒙化仓库
JavaScript
216
291

暂无简介
Dart
532
117

仓颉编程语言运行时与标准库。
Cangjie
122
93

🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
993
588

Ascend Extension for PyTorch
Python
75
106

仓颉编程语言测试用例。
Cangjie
34
61

旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
1.02 K
401