KServe中如何禁用默认HPA并实现自定义自动扩缩容

在KServe的实际生产部署中，很多场景下我们需要禁用默认的水平Pod自动扩缩容(HPA)功能，转而使用基于自定义指标(如GPU利用率、请求数等)的自定义HPA策略。本文将详细介绍如何在KServe中实现这一需求。

默认HPA的问题

当使用KServe的RawDeployment模式部署InferenceService时，系统会默认创建一个基于CPU指标的HPA。这个默认HPA可能无法满足以下场景需求：

1. 需要基于GPU利用率进行扩缩容
2. 需要基于请求数/QPS进行扩缩容
3. 已经使用其他监控系统(如Prometheus)实现了自定义扩缩容策略

禁用默认HPA的方法

在InferenceService的metadata.annotations中添加以下注解即可禁用默认HPA：

serving.kserve.io/autoscalerClass: "external"

这个注解会告诉KServe不要创建默认的HPA资源，允许用户完全控制自动扩缩容策略。

实现自定义HPA

禁用默认HPA后，我们可以创建自定义的HPA资源。以下是一个基于请求数(QPS)的HPA配置示例：

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: sample
  namespace: your-namespace
spec:
  behavior:
    scaleDown:
      policies:
      - periodSeconds: 60
        type: Percent
        value: 10
      - periodSeconds: 60
        type: Pods
        value: 4
      selectPolicy: Max
      stabilizationWindowSeconds: 900
    scaleUp:
      policies:
      - periodSeconds: 15
        type: Pods
        value: 4
      - periodSeconds: 15
        type: Percent
        value: 100
      selectPolicy: Max
      stabilizationWindowSeconds: 0
  maxReplicas: 4
  metrics:
  - pods:
      metric:
        name: requests_per_second
      target:
        averageValue: 500u
        type: Value
    type: Pods
  minReplicas: 2
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: sample-predictor

自定义指标采集

要实现基于请求数的扩缩容，需要配置Prometheus Adapter来采集Istio的请求指标。以下是Prometheus Adapter的配置示例：

apiVersion: v1
data:
  config.yaml: |
    rules:
    - metricsQuery: sum(rate(<<.Series>>{<<.LabelMatchers>>}[5m])) by (<<.GroupBy>>)
      name:
        as: requests_per_second
        matches: istio_requests_total
      resources:
        overrides:
          namespace:
            resource: namespace
          pod:
            resource: pod
      seriesQuery: istio_requests_total{pod!="", namespace!=""}
kind: ConfigMap

最佳实践建议

1. 对于GPU推理服务，建议基于GPU利用率指标进行扩缩容
2. 对于CPU推理服务，可以结合请求数和CPU利用率指标
3. 设置合理的扩缩容策略，避免过于频繁的扩缩操作
4. 为扩缩容设置适当的稳定窗口时间，防止抖动

通过这种方式，我们可以完全掌控KServe服务的自动扩缩容行为，根据实际业务需求定制最适合的扩缩容策略，而不受默认HPA的限制。