Text-Embeddings-Inference项目中的gRPC服务Prometheus监控配置指南

在Text-Embeddings-Inference项目的gRPC服务镜像中，Prometheus监控功能的配置方式与HTTP服务镜像有所不同。本文将详细介绍如何正确配置和使用gRPC服务中的Prometheus监控功能。

服务架构概述

Text-Embeddings-Inference的gRPC服务镜像采用了双端口设计：

• 3000端口：用于处理gRPC协议请求
• 9000端口：专门用于暴露Prometheus监控指标

这种设计遵循了gRPC服务的最佳实践，将业务接口和监控接口分离，避免了协议冲突。

正确部署方式

要启用Prometheus监控功能，在部署gRPC服务时需要同时暴露两个端口：

docker run -d \
  -p 3000:3000 \  # gRPC服务端口
  -p 9000:9000 \  # Prometheus监控端口
  -v /data:/data \
  --pull always \
  ghcr.io/huggingface/text-embeddings-inference:0.6-grpc \
  --model-id your-model-id \
  --revision your-revision

指标访问验证

部署完成后，可以通过以下方式验证监控功能是否正常工作：

1. 首先发送一个测试请求到gRPC服务：

grpcurl -d '{"inputs": "What is Deep Learning"}' -plaintext 0.0.0.0:3000 tei.v1.Embed/Embed

2. 然后访问Prometheus指标端点：

curl 0.0.0.0:9000

正常响应将包含以下关键指标：

# TYPE te_embed_success counter
te_embed_success 1

# TYPE te_request_success counter
te_request_success{method="single"} 1

# TYPE te_embed_count counter
te_embed_count 1

# TYPE te_request_count counter
te_request_count{method="single"} 1

# TYPE te_queue_size gauge
te_queue_size 0

Prometheus配置示例

在Prometheus的配置文件中，需要正确指向9000端口：

scrape_configs:
  - job_name: "text-embeddings-grpc"
    scrape_interval: 5s
    static_configs:
      - targets: ["your-service-address:9000"]
    metrics_path: "/"

常见问题解决

1. HTTP协议错误：如果直接访问3000端口会收到HTTP/0.9错误，这是因为gRPC端口不支持HTTP协议访问。

2. 指标无法获取：确保9000端口已正确映射，并且防火墙规则允许访问该端口。

3. 指标数据不更新：确认服务正在处理请求，因为部分指标是基于请求触发的。

监控指标说明

Text-Embeddings-Inference的gRPC服务提供了丰富的监控指标，主要包括：

• 请求计数：记录成功/失败的请求数量
• 嵌入计数：记录处理的嵌入向量数量
• 队列大小：反映当前待处理请求的积压情况
• 延迟指标：记录请求处理时间分布
• 资源使用：监控CPU/内存等资源消耗

这些指标对于服务性能监控、容量规划和故障诊断都非常有价值。

通过正确配置和使用这些监控功能，用户可以全面掌握gRPC服务的运行状态，及时发现和解决潜在问题。