Varnish Cache 共享内存锁竞争问题分析与解决方案

问题背景

在Varnish Cache生产环境中，我们观察到子进程偶尔会被主进程杀死，核心转储分析显示子进程在vsl_get函数调用时发生了死锁。这种情况通常发生在共享内存(SHM)操作期间，特别是当Varnish工作目录未正确配置为tmpfs时。

技术分析

共享内存工作机制

Varnish使用共享内存区域来存储日志(VSL)和其他运行时数据。当工作目录位于普通文件系统而非tmpfs时，内核可能会将这些内存映射区域同步到磁盘，导致性能问题和潜在的锁竞争。

死锁场景分析

从核心转储可以看到，子进程在以下调用链中发生阻塞：

1. 主线程在vsl_get函数中等待获取互斥锁
2. 该锁可能被其他操作持有，而该操作因磁盘I/O延迟无法及时完成
3. CLI超时机制触发，主进程认为子进程无响应而将其终止

关键影响因素

1. 文件系统类型：普通文件系统(如XFS)会引入磁盘I/O延迟
2. 系统快照：使用fsfreeze创建快照时会冻结文件系统，加剧问题
3. 参数配置：vsl_buffer大小和cli_timeout设置影响容错能力

解决方案

推荐配置

1. 将工作目录挂载为tmpfs：

   mount -t tmpfs tmpfs /var/lib/varnish -o size=1G
   

   或通过-n参数指定tmpfs目录

2. 监控指标：

   • 关注MAIN.shm_*指标趋势
   • 监控磁盘I/O与SHM计数的相关性

3. 版本选择：

   • 生产环境建议使用长期支持版本(如6.0 LTS)
   • 或升级到最新稳定版(7.4+)

配置验证

1. 检查当前工作目录：

   varnishadm param.show workspace
   

2. 验证tmpfs挂载：

   mount | grep varnish
   

深入技术细节

Varnish在创建共享内存区域时，会尝试使用MAP_NOSYNC标志来避免同步到磁盘，但Linux内核并不支持此标志。因此Varnish通过以下方式处理：

1. 显式调用mlock()锁定内存页
2. 设置MADV_DONTDUMP建议内核不包含在核心转储中
3. 依赖tmpfs的纯内存特性避免磁盘同步

最佳实践建议

1. 部署前检查：

   • 确认工作目录位于tmpfs
   • 验证mlock()成功

2. 监控告警：

   • 设置对MAIN.shm_cont的告警
   • 监控cli_timeout事件

3. 容量规划：

   • 根据日志量合理设置tmpfs大小
   • 考虑vsl_buffer与工作负载的匹配

结论

Varnish Cache的性能和稳定性高度依赖于共享内存的正确配置。通过将工作目录配置为tmpfs，可以避免因磁盘I/O导致的锁竞争问题，确保高并发环境下的稳定运行。新版本Varnish已加入相关警告机制，帮助管理员及时发现配置问题。