Grafana OnCall 插件连接问题分析与解决方案

问题概述

在使用Grafana OnCall插件(1.9.15)与Grafana OSS(11.1.0)集成时，许多用户遇到了"Plugin is not connected"的错误提示，并伴随403 Forbidden状态码。这个问题主要出现在Kubernetes环境中通过Helm部署的场景下，影响了插件的正常连接和使用。

错误表现

用户尝试连接OnCall插件时，通常会遇到以下错误信息：

Plugin is not connected Unauthorized/Forbidden while accessing OnCall engine: /api/internal/v1/plugin/v2/status, status code: 403, check token

从日志中可以观察到两个关键错误：

1. OnCallError对象无法被JSON序列化
2. 403 Forbidden错误出现在访问插件状态API时

根本原因分析

经过深入调查，发现该问题主要由以下几个因素导致：

1. 组织ID(orgId)配置不当：插件期望的orgId为100，但许多用户误设为1，导致token生成失败。

2. Grafana URL配置错误：在Kubernetes环境中，当Grafana和OnCall位于不同命名空间时，URL格式应为{service}.{namespace}:port，但默认配置缺少命名空间部分。

3. 服务账户token生成问题：自动生成的Grafana服务账户token无法被正确获取和使用。

4. 版本兼容性问题：早期版本的插件(1.9.0-1.9.15)存在初始化流程缺陷。

解决方案

1. 升级到最新版本

建议升级到OnCall插件1.9.22或更高版本，这些版本修复了初始化流程中的多个问题。

2. 正确配置组织ID

确保在插件配置中使用orgId:100而非1：

curl -X POST 'http://admin:admin@localhost:3000/api/plugins/grafana-oncall-app/settings' \
-H "Content-Type: application/json" \
-d '{"enabled":true, "jsonData":{"stackId":5, "orgId":100, "onCallApiUrl":"http://engine:8080/", "grafanaUrl":"http://grafana:3000/"}}'

3. 修正Grafana URL配置

在Helm values.yaml中，确保正确设置Grafana URL：

externalGrafana:
  url: "http://grafana.grafana:80"  # 包含命名空间

4. 手动触发插件安装

配置完成后，执行以下API调用完成安装：

curl -X POST 'http://admin:admin@localhost:3000/api/plugins/grafana-oncall-app/resources/plugin/install'

5. 验证连接状态

通过以下API检查连接状态：

curl -X GET 'http://admin:admin@localhost:3000/api/plugins/grafana-oncall-app/resources/plugin/status'

期望的响应应包含所有连接组件为"ok":true。

数据库验证

可以通过查询Grafana数据库验证配置是否正确应用：

SELECT * FROM public.plugin_setting;

正确配置后，应能看到secure_json_data字段包含grafanaToken和onCallApiToken。

自动化配置建议

对于需要自动化部署的场景，可以通过以下方式实现：

1. 使用ConfigMap提供插件配置
2. 通过initContainer执行必要的API调用
3. 确保Grafana feature toggle中启用了externalServiceAccounts

总结

Grafana OnCall插件连接问题通常由配置不当引起，特别是orgId和URL格式。通过升级到最新版本、正确配置参数并验证数据库状态，大多数问题可以得到解决。对于生产环境，建议建立完整的配置检查和验证流程，确保插件能够稳定运行。

对于使用LDAP等外部认证系统的Grafana实例，还需要特别注意服务账户的权限设置，确保插件有足够的权限执行必要的操作。