Rancher Submariner项目中并发写入导致Operator崩溃问题分析
2025-06-30 19:28:07作者:胡易黎Nicole
背景介绍
Rancher Submariner是一个实现Kubernetes集群间网络互联的开源项目,它允许不同Kubernetes集群中的Pod和服务直接通信。Submariner Operator是该项目中的核心组件,负责管理和协调集群间的网络连接。
问题现象
在Submariner 0.16.2版本中,当用户尝试重新加入已经存在的Submariner集群时,Operator组件会出现崩溃。具体表现为:
- 创建两个Kubernetes集群并建立Submariner连接
- 删除submariner-k8s-broker命名空间
- 尝试重新建立连接
- 两个集群中的submariner-operator组件都会崩溃
根本原因分析
通过分析崩溃日志和代码,发现问题出在logIfChanged
函数中的并发map写入。当ServiceDiscovery
和Submariner
资源被并发删除时,这两个独立的控制器线程会同时尝试修改同一个map数据结构,导致并发写入冲突。
在Go语言中,map不是线程安全的数据结构,当多个goroutine同时读写map时会导致panic。这正是Operator崩溃的直接原因。
解决方案
修复方案是为map访问添加同步机制。具体包括:
- 使用sync.Mutex或sync.RWMutex保护对map的并发访问
- 确保所有对map的读写操作都在锁的保护下进行
- 优化日志记录逻辑,减少不必要的map操作
技术深度解析
在Kubernetes Operator开发中,控制器通常会并行处理多个资源。Submariner Operator中同时存在多个控制器,包括:
- Submariner资源控制器
- ServiceDiscovery资源控制器
- Gateway控制器等
这些控制器独立运行,但可能共享某些数据结构。当这些控制器同时操作共享数据时,就需要特别注意并发安全问题。
最佳实践建议
- 在Operator开发中,所有共享数据结构都应该考虑并发安全
- 对于频繁读取的场景,可以使用sync.RWMutex提高性能
- 考虑使用Go 1.9+引入的sync.Map替代普通map
- 在代码审查时特别注意共享数据结构的访问
影响范围
该问题主要影响以下场景:
- 重新加入已存在的Submariner集群
- 执行集群重置操作
- 在高压环境下运行Submariner
总结
并发问题是分布式系统开发中的常见挑战。Submariner作为跨集群网络解决方案,其稳定性至关重要。这次问题的修复不仅解决了Operator崩溃问题,也为项目提供了更好的并发处理范例。开发者在使用Submariner时,应确保使用包含此修复的版本,以获得更稳定的跨集群网络体验。
登录后查看全文
热门项目推荐
cherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端TypeScript039RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统Vue0417arkanalyzer
方舟分析器:面向ArkTS语言的静态程序分析框架TypeScript041GitCode百大开源项目
GitCode百大计划旨在表彰GitCode平台上积极推动项目社区化,拥有广泛影响力的G-Star项目,入选项目不仅代表了GitCode开源生态的蓬勃发展,也反映了当下开源行业的发展趋势。03PowerWechat
PowerWechat是一款基于WeChat SDK for Golang,支持小程序、微信支付、企业微信、公众号等全微信生态Go00openGauss-server
openGauss kernel ~ openGauss is an open source relational database management systemC++0146
热门内容推荐
1 freeCodeCamp JavaScript函数测验中关于函数返回值的技术解析2 freeCodeCamp注册表单项目:优化HTML表单元素布局指南3 freeCodeCamp猫照片应用项目中"catnip"拼写问题的技术解析4 freeCodeCamp排序可视化项目中Bubble Sort算法的实现问题分析5 freeCodeCamp全栈开发课程中业务卡片设计实验的优化建议6 freeCodeCamp平台连续学习天数统计异常的技术解析7 Odin项目"构建食谱页面"练习的技术优化建议8 freeCodeCamp全栈开发认证课程中的变量声明测试问题解析9 freeCodeCamp课程中图片src属性验证漏洞的技术分析10 freeCodeCamp博客页面开发中锚点跳转问题的技术解析
最新内容推荐
Visual-RFT项目中模型路径差异的技术解析 Microcks在OpenShift上部署Keycloak PostgreSQL的权限问题解析 Beyla项目中的HTTP2连接检测问题解析 RaspberryMatic项目中HmIP-BWTH温控器假期模式设置问题分析 Lets-Plot 库中条形图标签在坐标轴反转时的定位问题解析 BedrockConnect项目版本兼容性问题解析与解决方案 LiquidJS 10.21.0版本新增数组过滤功能解析 Mink项目中Selenium驱动切换iframe的兼容性问题分析 Lichess移动端盲棋模式字符串优化解析 sbctl验证功能JSON输出问题解析
项目优选
收起

🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
15

🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
577
417

React Native鸿蒙化仓库
C++
125
208

openGauss kernel ~ openGauss is an open source relational database management system
C++
77
146

FOLib 是一个为Ai研发而生的、全语言制品库和供应链服务平台
Java
110
6

🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
444
39

前端智能化场景解决方案UI库,轻松构建你的AI应用,我们将持续完善更新,欢迎你的使用与建议。
官网地址:https://matechat.gitcode.com
693
91

🔥🔥🔥ShopXO企业级免费开源商城系统,可视化DIY拖拽装修、包含PC、H5、多端小程序(微信+支付宝+百度+头条&抖音+QQ+快手)、APP、多仓库、多商户、多门店、IM客服、进销存,遵循MIT开源协议发布、基于ThinkPHP8框架研发
JavaScript
80
13

旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
98
253

本仓将收集和展示仓颉鸿蒙应用示例代码,欢迎大家投稿,在仓颉鸿蒙社区展现你的妙趣设计!
Cangjie
359
342