Kubeflow KFServing中如何禁用默认HPA并实现自定义自动扩缩容

在Kubeflow KFServing的实际生产部署中，用户可能需要禁用系统默认创建的Horizontal Pod Autoscaler（HPA），转而使用基于自定义指标（如请求量、GPU利用率等）的自定义自动扩缩容策略。本文将详细介绍这一需求的实现方法。

默认HPA的问题

KFServing在创建InferenceService时，默认会为每个预测器（predictor）部署一个基于CPU指标的HPA。这个默认行为可能不适合以下场景：

1. 需要基于GPU利用率进行扩缩容
2. 需要基于请求量（QPS）进行扩缩容
3. 已经部署了自定义的自动扩缩容系统

禁用默认HPA的方法

通过为InferenceService添加特定注解，可以轻松禁用KFServing的默认HPA：

apiVersion: serving.kserve.io/v1beta1
kind: InferenceService
metadata:
  annotations:
    serving.kserve.io/autoscalerClass: "external"

这个注解会告诉KFServing不要创建默认的HPA，允许用户部署自己的自动扩缩容策略。

自定义HPA的实现

禁用默认HPA后，用户可以创建基于自定义指标的HPA。以下是实现步骤：

1. 配置Prometheus Adapter：首先需要设置Prometheus Adapter来提供自定义指标

apiVersion: v1
kind: ConfigMap
data:
  config.yaml: |
    rules:
    - metricsQuery: sum(rate(<<.Series>>{<<.LabelMatchers>>}[5m])) by (<<.GroupBy>>)
      name:
        as: requests_per_second
        matches: istio_requests_total
      resources:
        overrides:
          namespace:
            resource: namespace
          pod:
            resource: pod
      seriesQuery: istio_requests_total{pod!="", namespace!=""}

2. 创建自定义HPA：基于请求量（QPS）的HPA示例

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: sample
spec:
  behavior:
    scaleDown:
      policies:
      - periodSeconds: 60
        type: Percent
        value: 10
      - periodSeconds: 60
        type: Pods
        value: 4
    scaleUp:
      policies:
      - periodSeconds: 15
        type: Pods
        value: 4
      - periodSeconds: 15
        type: Percent
        value: 100
  maxReplicas: 4
  metrics:
  - pods:
      metric:
        name: requests_per_second
      target:
        averageValue: 500u
        type: Value
    type: Pods
  minReplicas: 2
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: sample-predictor

关键配置说明

1. scaleDown配置：设置了缩容策略，包括百分比缩容和固定Pod数量缩容，并配置了900秒的稳定窗口
2. scaleUp配置：设置了扩容策略，包括快速扩容和百分比扩容，不设置稳定窗口以实现快速响应
3. 自定义指标：使用Prometheus收集的请求量指标（requests_per_second）作为扩缩容依据
4. 目标值：设置为500u（即0.5请求/秒），当实际值超过此阈值时触发扩容

最佳实践建议

1. 对于生产环境，建议同时监控多个指标（如QPS、GPU利用率、内存使用率等）
2. 根据业务特点调整扩缩容策略的敏感度
3. 为不同的服务设置不同的扩缩容参数
4. 定期评估自动扩缩容效果，持续优化参数

通过这种方式，用户可以在KFServing中实现更精细化的自动扩缩容策略，更好地满足不同AI推理服务的性能需求。