BFE 延时统计直方图监控指南:TLS 握手与请求转发时延的度量及 Prometheus 语义
BFE 延时统计直方图监控指南:TLS 握手与请求转发时延的度量及 Prometheus 语义
导读
BFE(Baidu Front End)作为百度开源的七层负载均衡器,内置了完整的内部延时(Internal Delay)统计能力,通过 /monitor/proxy_delay、/monitor/proxy_handshake_delay 等五个监控端点,以直方图(Histogram)形式量化 TLS 握手、GET/POST 请求转发等关键路径的时延分布。本文以 docs/en_us/monitor/latency.md 为骨架,结合 bfe_server/server_status.go 与 bfe_server/http_conn.go 等源码实现,说明各端点的度量口径、底层计数器机制,以及 Prometheus 格式下 bucket 累计计数的特殊语义,帮助你正确采集与解读 BFE 的延时监控数据。
一、监控端点总览
BFE 的监控服务对外暴露以下五个延时统计端点:
| 端点(Endpoint) | 描述(Description) |
|---|---|
/monitor/proxy_handshake_delay |
TLS 握手延时(Latency of the TLS handshake) |
/monitor/proxy_handshake_full_delay |
TLS 完全握手延时(Latency of the TLS full handshake) |
/monitor/proxy_handshake_resume_delay |
TLS 简化握手延时(Latency of the TLS abbreviated handshake) |
/monitor/proxy_delay |
GET 请求的转发延时(Forwarding Latency for the GET requests) |
/monitor/proxy_post_delay |
POST 请求的转发延时(Forwarding Latency for the POST requests) |
五个端点对应 BFE 内部五个独立的延时计数器,其注册关系可在 bfe_server/web_server.go 中看到:proxy_delay、proxy_post_delay、proxy_handshake_delay、proxy_handshake_full_delay、proxy_handshake_resume_delay 分别绑定到 ServerStatus 中对应的 DelayRecent 计数器。
需要特别区分的是两类延时的度量对象:
- 握手延时:度量一次 TLS 握手从开始到完成所花费的时间,是衡量 TLS 建连性能的直接指标;
- 转发延时:度量请求从 BFE 读取完请求头到后端返回首个响应字节之间的"内部处理 + 后端响应"时延,反映反向代理转发链路的性能。
二、延时统计的监控项字段
每个延时端点返回的统计结果都包含以下监控项(Metrics):
| 监控项(Metric) | 描述(Description) |
|---|---|
Interval |
统计周期(秒),即延时数据从"当前统计"滚动到"过去统计"的时间间隔 |
ProgramName |
程序名称,即 BFE 进程名 |
KeyPrefix |
监控项名称前缀,即上文端点表中的指标键名(如 proxy_delay) |
CurrTime |
当前统计周期的起始时间 |
Current |
当前统计周期的延时直方图 |
PastTime |
上一个统计周期的起始时间 |
Past |
上一个统计周期的延时直方图 |
该结构对应 BFE 使用的 delay_counter.DelayRecent 计数器(来自 github.com/bfenetworks/go-lib/web-monitor/delay_counter 库):计数器内部维护"当前(Current)"与"过去(Past)"两套直方图数据,每当经过一个 Interval 统计周期,当前数据滚动为过去数据。延时直方图统计、周期滚动与输出格式化的行为均由此库完成,BFE 侧负责实例化、初始化与数据写入。
三、底层实现:计数器参数与数据写入路径
3.1 计数器的初始化参数
在 bfe_server/server_status.go 中定义了延时计数器相关的常量:
const (
DC_INTERVAL = 60 // interval for moving current to past (in s)
DC_BUCKET_SIZE_PROXY = 1 // size of delay counter bucket for forwarding (in ms)
DC_BUCKET_SIZE_HS = 100 // size of delay counter bucket for handshake (in ms)
DC_BUCKET_NUM = 10 // number of delay counter bucket
)
// key prefix
const (
KP_PROXY_DELAY = "proxy_delay"
KP_PROXY_POST_DEALY = "proxy_post_delay"
KP_PROXY_HANDSHAKE_DELAY = "proxy_handshake_delay"
KP_PROXY_HANDSHAKE_FULL_DELAY = "proxy_handshake_full_delay"
KP_PROXY_HANDSHAKE_RESUME_DELAY = "proxy_handshake_resume_delay"
KP_PROXY_STATE = "proxy_state"
)
在 NewServerStatus()(server_status.go)中对五个计数器执行初始化与键名前缀设置:
m.ProxyDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_PROXY, DC_BUCKET_NUM)
m.ProxyPostDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_PROXY, DC_BUCKET_NUM)
m.ProxyHandshakeDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_HS, DC_BUCKET_NUM)
m.ProxyHandshakeFullDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_HS, DC_BUCKET_NUM)
m.ProxyHandshakeResumeDelay.Init(DC_INTERVAL, DC_BUCKET_SIZE_HS, DC_BUCKET_NUM)
m.ProxyDelay.SetKeyPrefix(KP_PROXY_DELAY)
m.ProxyPostDelay.SetKeyPrefix(KP_PROXY_POST_DEALY)
m.ProxyHandshakeDelay.SetKeyPrefix(KP_PROXY_HANDSHAKE_DELAY)
m.ProxyHandshakeFullDelay.SetKeyPrefix(KP_PROXY_HANDSHAKE_FULL_DELAY)
m.ProxyHandshakeResumeDelay.SetKeyPrefix(KP_PROXY_HANDSHAKE_RESUME_DELAY)
从上述参数可以看出两个关键设计:
- 统计周期(Interval)固定为 60 秒:延时直方图每 60 秒滚动一次,
Current滚动为Past,同时开启新的当前统计窗口; - 桶粒度按场景区分:转发延时(proxy_delay / proxy_post_delay)的桶大小为 1 ms,适合观察毫秒级的请求转发时延;握手延时(三类 handshake)的桶大小为 100 ms,配合 10 个桶覆盖更大范围的握手耗时分布。
3.2 握手延时如何被记录
握手延时在连接处理流程中被写入计数器,核心代码位于 bfe_server/http_conn.go:
if tlsConn, ok := c.rwc.(*bfe_tls.Conn); ok {
proxyState.TlsHandshakeAll.Inc(1)
...
// start tls handshake
start := time.Now()
if err := tlsConn.Handshake(); err != nil {
...
return
}
...
tlsState := tlsConn.ConnectionState()
...
proxyState.TlsHandshakeSucc.Inc(1)
serverStatus.ProxyHandshakeDelay.AddDuration(tlsState.HandshakeTime)
if tlsState.DidResume {
serverStatus.ProxyHandshakeResumeDelay.AddDuration(tlsState.HandshakeTime)
} else {
serverStatus.ProxyHandshakeFullDelay.AddDuration(tlsState.HandshakeTime)
}
}
这段代码揭示了握手延时统计的三个要点:
- 只统计成功的握手:握手失败时直接返回,不进入延时统计,因此延时直方图反映的是健康连接的性能分布;
- 数据来源是
tlsState.HandshakeTime:即 TLS 连接状态中记录的握手耗时,由握手过程计时得到; - 按会话复用类型分流:依据
tlsState.DidResume判断本次握手是会话复用(abbreviated/resume,即简化握手)还是全新握手(full),分别记入ProxyHandshakeResumeDelay与ProxyHandshakeFullDelay;同时全部握手耗时统一记入ProxyHandshakeDelay。
3.3 转发延时如何被记录
转发延时在请求处理结束时写入计数器,相关代码位于 bfe_server/http_conn.go:
// only counter "internal delay" for successful request
if !request.Stat.BackendFirst.IsZero() {
// In redirect and some other cases, BackendFirst may be not set
if request.HttpRequest.ContentLength == 0 {
// for get/head request
serverStatus.ProxyDelay.AddBySub(request.Stat.ReadReqEnd, request.Stat.BackendFirst)
} else {
// for post/put request
serverStatus.ProxyPostDelay.AddBySub(request.Stat.ReadReqEnd, request.Stat.BackendFirst)
}
}
转发延时统计的度量口径十分明确:
- 统计区间:从
request.Stat.ReadReqEnd(BFE 读完请求的时间点)到request.Stat.BackendFirst(后端首个响应到达的时间点),二者相减即为"转发延时"; - 只统计成功请求:请求出错(
request.ErrCode != nil)时不计数;同时要求BackendFirst已被设置(重定向等场景下该时间点可能缺失,同样不计数); - 按请求体大小分流:
ContentLength == 0(GET/HEAD 类请求)记入proxy_delay,否则(POST/PUT 类请求)记入proxy_post_delay。
四、Prometheus 格式的特别说明:bucket 累计语义
BFE 可以以多种格式暴露监控指标。与其他格式不同,在 Prometheus 格式下,延时直方图采用"累计计数"(cumulative)语义:上界(upper bound)更大的 bucket 的计数值,会包含上界更小的 bucket 中的全部事件数。这与 Prometheus 官方 Histogram 的概念保持一致,即 le(less than or equal)标签表示"小于等于该上界"的事件数量。
以握手延时为例,在 Prometheus 格式下指标形如 proxy_handshake_delay_Past_bucket{le="..."},其中 Past 表示上个统计周期的数据(对应监控项中的 PastTime / Past):
proxy_handshake_delay_Past_bucket{le="1000"}:上一个统计周期中,延时小于等于 1000 ms 的握手数量;proxy_handshake_delay_Past_bucket{le="2000"}:上一个统计周期中,延时小于等于 2000 ms 的握手数量,其中已包含延时小于等于 1000 ms 的握手数量;proxy_handshake_delay_Past_bucket{le="+Inf"}:上一个统计周期中,延时小于等于"无穷大"的握手数量,即该周期内的握手总数,其数值等于proxy_handshake_delay_Past_count。
在使用 PromQL 查询时需要特别注意这一点:不要直接对多个 le bucket 的数值求和,也不要将相邻 bucket 的差值误解为"该区间的独立计数"。如果希望得到某个延时区间(如 1000 ms 到 2000 ms 之间)的独立事件数,应使用相邻 bucket 的差值(le="2000" 减去 le="1000"),这与 Prometheus Histogram 的标准使用方式一致。
五、启用监控服务并访问延时数据
延时统计端点为只读查询接口,通过 BFE 的监控服务(Monitor Server)对外提供。默认配置位于 conf/bfe.conf:
[Server]
# listen port for monitor request
MonitorPort = 8421
# if false, disable monitor server
MonitorEnabled = true
要点说明:
MonitorPort:监控服务监听端口,默认 8421;MonitorEnabled:是否启用监控服务,设为false将关闭全部监控端点(含延时统计),默认true。
启用监控服务后,可直接通过 HTTP 访问延时统计端点,例如:
# 查询 TLS 握手延时直方图
curl http://127.0.0.1:8421/monitor/proxy_handshake_delay
# 查询 GET 请求转发延时直方图
curl http://127.0.0.1:8421/monitor/proxy_delay
# 查询 POST 请求转发延时直方图
curl http://127.0.0.1:8421/monitor/proxy_post_delay
端点返回的统计结果包含前文所述的 Interval、ProgramName、KeyPrefix、CurrTime、Current、PastTime、Past 等字段:Current / Past 分别为当前与上一统计周期的直方图数据,CurrTime / PastTime 标识各自的统计起始时间。在需要 Prometheus 格式输出时,可通过请求参数切换格式(BFE 监控服务支持多种指标输出格式,具体参数可参考其他监控端点文档,如 proxy_state.md 对监控服务的说明)。
六、延时指标的解读与运维建议
结合上述度量口径,可以归纳出以下几点实践建议:
- 区分"握手延时"与"转发延时"的异常场景:握手延时的升高通常指向 TLS 性能问题(如证书链过长、加密套件开销大、客户端网络差);转发延时的升高则需要结合后端集群负载、连接池状态与 bal_state 等负载均衡指标联合排查。
- 善用
Past数据做周期对比:延时统计以 60 秒为周期滚动,Past与Current天然构成相邻两个周期的对照,便于观察延时分布随时间的变化趋势。 - 在 Prometheus 中按语义聚合:利用 bucket 累计特性计算 P50/P90/P99 等分位数时,应使用 histogram_quantile 函数基于
_bucket系列指标计算;计算某一延时区间的独立数量时,使用相邻 bucket 差值。
综上,BFE 的延时统计体系覆盖了"TLS 握手(含完全/简化握手细分)"与"请求转发(GET/POST 细分)"两条关键时延路径,其直方图数据结构、周期滚动机制与 Prometheus 累计 bucket 语义共同构成了可量化、可对比、可告警的延时观测能力,是 BFE 性能调优与故障定位的重要数据来源。