Sentry自托管服务中事件丢失问题的分析与解决

问题背景

在使用Sentry自托管服务(v25.1.0)的过程中，发现一个异常现象：大约有三分之一的原生(native)事件未能完整地存入系统。虽然这些事件的附件(如日志文件)可以在PostgreSQL的sentry_eventattachment表中找到记录，但事件本身却未出现在ClickHouse数据库中。

现象表现

1. 通过Nginx日志确认客户端确实成功发送了事件和minidump文件(HTTP 200响应)
2. 系统各组件调试日志中未发现明显错误信息
3. 事件附件被正常存储，但主体事件数据缺失
4. 问题表现为部分事件在Sentry用户界面不可见

技术分析

Sentry的事件处理流程通常包含以下关键环节：

1. 接收层：通过Web服务接收客户端上报的事件
2. 预处理：对事件进行初步验证和处理
3. 存储分发：将事件数据分发到不同的存储后端
   • PostgreSQL：存储元数据和附件
   • ClickHouse：存储事件主体数据
4. 索引构建：为快速查询建立索引

从现象来看，问题可能出在存储分发环节。系统能够接收并处理附件，但事件主体数据未能正确写入ClickHouse。这可能涉及：

• 分布式事务问题：跨数据库的写入未能保持原子性
• 消息队列处理异常：事件处理任务可能被丢弃或失败
• ClickHouse写入性能瓶颈：在高负载下部分写入超时

解决方案

经过排查，最终通过以下步骤解决了问题：

1. 重置整个Sentry栈：确保所有服务从干净状态启动
2. 升级到更新版本：消除可能存在的版本缺陷
3. 验证数据完整性：确认事件和附件都能正确存储和查询

经验总结

对于类似的自托管Sentry部署问题，建议：

1. 定期维护和升级系统版本
2. 监控关键指标：事件接收率、存储成功率等
3. 建立完善的日志收集和分析机制
4. 对于关键业务，考虑实现双写校验机制

这种部分事件丢失的问题在分布式系统中并不罕见，特别是在涉及多个数据存储后端时。通过系统性的排查和验证，可以有效定位和解决问题。