BFE 延时统计直方图监控指南:TLS 握手与请求转发时延的度量及 Prometheus 语义

原创2026-10-09 22:55:201,966 阅读
文章标签:后端网络/通信云原生

BFE 延时统计直方图监控指南:TLS 握手与请求转发时延的度量及 Prometheus 语义

导读

BFE(Baidu Front End)作为百度开源的七层负载均衡器,内置了完整的内部延时(Internal Delay)统计能力,通过 /monitor/proxy_delay、/monitor/proxy_handshake_delay 等五个监控端点,以直方图(Histogram)形式量化 TLS 握手、GET/POST 请求转发等关键路径的时延分布。本文以 docs/en_us/monitor/latency.md 为骨架,结合 bfe_server/server_status.go 与 bfe_server/http_conn.go 等源码实现,说明各端点的度量口径、底层计数器机制,以及 Prometheus 格式下 bucket 累计计数的特殊语义,帮助你正确采集与解读 BFE 的延时监控数据。

一、监控端点总览

BFE 的监控服务对外暴露以下五个延时统计端点:

端点(Endpoint) 描述(Description)
/monitor/proxy_handshake_delay TLS 握手延时(Latency of the TLS handshake)
/monitor/proxy_handshake_full_delay TLS 完全握手延时(Latency of the TLS full handshake)
/monitor/proxy_handshake_resume_delay TLS 简化握手延时(Latency of the TLS abbreviated handshake)
/monitor/proxy_delay GET 请求的转发延时(Forwarding Latency for the GET requests)
/monitor/proxy_post_delay POST 请求的转发延时(Forwarding Latency for the POST requests)

五个端点对应 BFE 内部五个独立的延时计数器,其注册关系可在 bfe_server/web_server.go 中看到:proxy_delay、proxy_post_delay、proxy_handshake_delay、proxy_handshake_full_delay、proxy_handshake_resume_delay 分别绑定到 ServerStatus 中对应的 DelayRecent 计数器。

需要特别区分的是两类延时的度量对象:

  • 握手延时:度量一次 TLS 握手从开始到完成所花费的时间,是衡量 TLS 建连性能的直接指标;
  • 转发延时:度量请求从 BFE 读取完请求头到后端返回首个响应字节之间的"内部处理 + 后端响应"时延,反映反向代理转发链路的性能。

二、延时统计的监控项字段

每个延时端点返回的统计结果都包含以下监控项(Metrics):

监控项(Metric) 描述(Description)
Interval 统计周期(秒),即延时数据从"当前统计"滚动到"过去统计"的时间间隔
ProgramName 程序名称,即 BFE 进程名
KeyPrefix 监控项名称前缀,即上文端点表中的指标键名(如 proxy_delay)
CurrTime 当前统计周期的起始时间
Current 当前统计周期的延时直方图
PastTime 上一个统计周期的起始时间
Past 上一个统计周期的延时直方图

该结构对应 BFE 使用的 delay_counter.DelayRecent 计数器(来自 github.com/bfenetworks/go-lib/web-monitor/delay_counter 库):计数器内部维护"当前(Current)"与"过去(Past)"两套直方图数据,每当经过一个 Interval 统计周期,当前数据滚动为过去数据。延时直方图统计、周期滚动与输出格式化的行为均由此库完成,BFE 侧负责实例化、初始化与数据写入。

三、底层实现:计数器参数与数据写入路径

3.1 计数器的初始化参数

在 bfe_server/server_status.go 中定义了延时计数器相关的常量:

const (
	DC_INTERVAL          = 60  // interval for moving current to past (in s)
	DC_BUCKET_SIZE_PROXY = 1   // size of delay counter bucket for forwarding (in ms)
	DC_BUCKET_SIZE_HS    = 100 // size of delay counter bucket for handshake (in ms)
	DC_BUCKET_NUM        = 10  // number of delay counter bucket
)

// key prefix
const (
	KP_PROXY_DELAY                  = "proxy_delay"
	KP_PROXY_POST_DEALY             = "proxy_post_delay"
	KP_PROXY_HANDSHAKE_DELAY        = "proxy_handshake_delay"
	KP_PROXY_HANDSHAKE_FULL_DELAY   = "proxy_handshake_full_delay"
	KP_PROXY_HANDSHAKE_RESUME_DELAY = "proxy_handshake_resume_delay"
	KP_PROXY_STATE                  = "proxy_state"
)

在 NewServerStatus()(server_status.go)中对五个计数器执行初始化与键名前缀设置:

m.ProxyDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_PROXY, DC_BUCKET_NUM)
m.ProxyPostDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_PROXY, DC_BUCKET_NUM)
m.ProxyHandshakeDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_HS, DC_BUCKET_NUM)
m.ProxyHandshakeFullDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_HS, DC_BUCKET_NUM)
m.ProxyHandshakeResumeDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_HS, DC_BUCKET_NUM)

m.ProxyDelay.SetKeyPrefix(KP_PROXY_DELAY)
m.ProxyPostDelay.SetKeyPrefix(KP_PROXY_POST_DEALY)
m.ProxyHandshakeDelay.SetKeyPrefix(KP_PROXY_HANDSHAKE_DELAY)
m.ProxyHandshakeFullDelay.SetKeyPrefix(KP_PROXY_HANDSHAKE_FULL_DELAY)
m.ProxyHandshakeResumeDelay.SetKeyPrefix(KP_PROXY_HANDSHAKE_RESUME_DELAY)

从上述参数可以看出两个关键设计:

  • 统计周期(Interval)固定为 60 秒:延时直方图每 60 秒滚动一次,Current 滚动为 Past,同时开启新的当前统计窗口;
  • 桶粒度按场景区分:转发延时(proxy_delay / proxy_post_delay)的桶大小为 1 ms,适合观察毫秒级的请求转发时延;握手延时(三类 handshake)的桶大小为 100 ms,配合 10 个桶覆盖更大范围的握手耗时分布。

3.2 握手延时如何被记录

握手延时在连接处理流程中被写入计数器,核心代码位于 bfe_server/http_conn.go:

if tlsConn, ok := c.rwc.(*bfe_tls.Conn); ok {
	proxyState.TlsHandshakeAll.Inc(1)
	...
	// start tls handshake
	start := time.Now()
	if err := tlsConn.Handshake(); err != nil {
		...
		return
	}
	...
	tlsState := tlsConn.ConnectionState()
	...
	proxyState.TlsHandshakeSucc.Inc(1)
	serverStatus.ProxyHandshakeDelay.AddDuration(tlsState.HandshakeTime)
	if tlsState.DidResume {
		serverStatus.ProxyHandshakeResumeDelay.AddDuration(tlsState.HandshakeTime)
	} else {
		serverStatus.ProxyHandshakeFullDelay.AddDuration(tlsState.HandshakeTime)
	}
}

这段代码揭示了握手延时统计的三个要点:

  1. 只统计成功的握手:握手失败时直接返回,不进入延时统计,因此延时直方图反映的是健康连接的性能分布;
  2. 数据来源是 tlsState.HandshakeTime:即 TLS 连接状态中记录的握手耗时,由握手过程计时得到;
  3. 按会话复用类型分流:依据 tlsState.DidResume 判断本次握手是会话复用(abbreviated/resume,即简化握手)还是全新握手(full),分别记入 ProxyHandshakeResumeDelay 与 ProxyHandshakeFullDelay;同时全部握手耗时统一记入 ProxyHandshakeDelay。

3.3 转发延时如何被记录

转发延时在请求处理结束时写入计数器,相关代码位于 bfe_server/http_conn.go:

// only counter "internal delay" for successful request
if !request.Stat.BackendFirst.IsZero() {
	// In redirect and some other cases, BackendFirst may be not set

	if request.HttpRequest.ContentLength == 0 {
		// for get/head request
		serverStatus.ProxyDelay.AddBySub(request.Stat.ReadReqEnd, request.Stat.BackendFirst)
	} else {
		// for post/put request
		serverStatus.ProxyPostDelay.AddBySub(request.Stat.ReadReqEnd, request.Stat.BackendFirst)
	}
}

转发延时统计的度量口径十分明确:

  • 统计区间:从 request.Stat.ReadReqEnd(BFE 读完请求的时间点)到 request.Stat.BackendFirst(后端首个响应到达的时间点),二者相减即为"转发延时";
  • 只统计成功请求:请求出错(request.ErrCode != nil)时不计数;同时要求 BackendFirst 已被设置(重定向等场景下该时间点可能缺失,同样不计数);
  • 按请求体大小分流:ContentLength == 0(GET/HEAD 类请求)记入 proxy_delay,否则(POST/PUT 类请求)记入 proxy_post_delay。

四、Prometheus 格式的特别说明:bucket 累计语义

BFE 可以以多种格式暴露监控指标。与其他格式不同,在 Prometheus 格式下,延时直方图采用"累计计数"(cumulative)语义:上界(upper bound)更大的 bucket 的计数值,会包含上界更小的 bucket 中的全部事件数。这与 Prometheus 官方 Histogram 的概念保持一致,即 le(less than or equal)标签表示"小于等于该上界"的事件数量。

以握手延时为例,在 Prometheus 格式下指标形如 proxy_handshake_delay_Past_bucket{le="..."},其中 Past 表示上个统计周期的数据(对应监控项中的 PastTime / Past):

  • proxy_handshake_delay_Past_bucket{le="1000"}:上一个统计周期中,延时小于等于 1000 ms 的握手数量;
  • proxy_handshake_delay_Past_bucket{le="2000"}:上一个统计周期中,延时小于等于 2000 ms 的握手数量,其中已包含延时小于等于 1000 ms 的握手数量;
  • proxy_handshake_delay_Past_bucket{le="+Inf"}:上一个统计周期中,延时小于等于"无穷大"的握手数量,即该周期内的握手总数,其数值等于 proxy_handshake_delay_Past_count。

在使用 PromQL 查询时需要特别注意这一点:不要直接对多个 le bucket 的数值求和,也不要将相邻 bucket 的差值误解为"该区间的独立计数"。如果希望得到某个延时区间(如 1000 ms 到 2000 ms 之间)的独立事件数,应使用相邻 bucket 的差值(le="2000" 减去 le="1000"),这与 Prometheus Histogram 的标准使用方式一致。

五、启用监控服务并访问延时数据

延时统计端点为只读查询接口,通过 BFE 的监控服务(Monitor Server)对外提供。默认配置位于 conf/bfe.conf:

[Server]
# listen port for monitor request
MonitorPort = 8421
# if false, disable monitor server
MonitorEnabled = true

要点说明:

  • MonitorPort:监控服务监听端口,默认 8421;
  • MonitorEnabled:是否启用监控服务,设为 false 将关闭全部监控端点(含延时统计),默认 true。

启用监控服务后,可直接通过 HTTP 访问延时统计端点,例如:

# 查询 TLS 握手延时直方图
curl http://127.0.0.1:8421/monitor/proxy_handshake_delay

# 查询 GET 请求转发延时直方图
curl http://127.0.0.1:8421/monitor/proxy_delay

# 查询 POST 请求转发延时直方图
curl http://127.0.0.1:8421/monitor/proxy_post_delay

端点返回的统计结果包含前文所述的 Interval、ProgramName、KeyPrefix、CurrTime、Current、PastTime、Past 等字段:Current / Past 分别为当前与上一统计周期的直方图数据,CurrTime / PastTime 标识各自的统计起始时间。在需要 Prometheus 格式输出时,可通过请求参数切换格式(BFE 监控服务支持多种指标输出格式,具体参数可参考其他监控端点文档,如 proxy_state.md 对监控服务的说明)。

六、延时指标的解读与运维建议

结合上述度量口径,可以归纳出以下几点实践建议:

  1. 区分"握手延时"与"转发延时"的异常场景:握手延时的升高通常指向 TLS 性能问题(如证书链过长、加密套件开销大、客户端网络差);转发延时的升高则需要结合后端集群负载、连接池状态与 bal_state 等负载均衡指标联合排查。
  2. 善用 Past 数据做周期对比:延时统计以 60 秒为周期滚动,Past 与 Current 天然构成相邻两个周期的对照,便于观察延时分布随时间的变化趋势。
  3. 在 Prometheus 中按语义聚合:利用 bucket 累计特性计算 P50/P90/P99 等分位数时,应使用 histogram_quantile 函数基于 _bucket 系列指标计算;计算某一延时区间的独立数量时,使用相邻 bucket 差值。

综上,BFE 的延时统计体系覆盖了"TLS 握手(含完全/简化握手细分)"与"请求转发(GET/POST 细分)"两条关键时延路径,其直方图数据结构、周期滚动机制与 Prometheus 累计 bucket 语义共同构成了可量化、可对比、可告警的延时观测能力,是 BFE 性能调优与故障定位的重要数据来源。

登录后查看全文
bfe