Kubernetes Handbook 实战指南:Secret 配置与敏感信息管理

原创2026-09-23 14:34:472,151 阅读
文章标签:教程云原生容器编排

Kubernetes Handbook 实战指南:Secret 配置与敏感信息管理

本篇技术指南以 Kubernetes Handbook 中的 Secret 专题为核心,系统讲解 Secret 对象的设计动机、三种内置类型、创建/解码流程、以 Volume 与环境变量两种方式消费 Secret 的完整配置,以及 imagePullSecret、Service Account 自动附加、安全属性与最佳实践。读者学完后将能够独立完成数据库口令、SSH 私钥、私有镜像仓库凭据等敏感信息在集群中的安全落地,并结合仓库内的真实 Manifest(如 MariaDB 集群的 mysql-secrets、Ceph 的 ceph-secret)验证每个操作步骤。

Secret 概览:为什么需要独立的对象类型

Secret 对象类型用来保存敏感信息,例如密码、OAuth 令牌和 SSH key。将这些信息放在 Secret 中比放在 Pod 的定义中或者 Docker 镜像中更加安全和灵活:

  • 控制用途:Secret 是一个独立的对象,可以像其他资源一样被创建、查看、编辑,也可以配合 RBAC 授权精细控制谁能访问;
  • 降低暴露风险:敏感数据不必随 Pod Spec 或镜像一起分发,规避了镜像仓库共享、日志打印、代码仓库误提交等泄露渠道;
  • 解耦与复用:多个 Pod 可以引用同一个 Secret,修改 Secret 后挂载文件可自动更新,无需重建镜像。

Secret 是一种包含少量敏感信息(密码、token、key)的对象。用户可以创建 Secret,同时系统也创建了一些 Secret。要使用 Secret,Pod 需要引用 Secret。Pod 可以用两种方式使用 Secret:

  1. 作为 volume 中的文件被挂载到 Pod 中的一个或多个容器里;
  2. 当 kubelet 为 Pod 拉取镜像时使用(即 imagePullSecret)。

从仓库中另一篇专题 concepts/secret.md 的归纳看,Secret 主要有三种类型,这也是理解整个 Secret 体系的基础:

类型 用途 说明
Service Account(kubernetes.io/service-account-token) 访问 Kubernetes API 由 Kubernetes 自动创建,并自动挂载到 Pod 的 /run/secrets/kubernetes.io/serviceaccount 目录
Opaque 存储密码、密钥等任意数据 base64 编码格式的 map 类型数据
kubernetes.io/dockerconfigjson 存储私有 Docker registry 认证信息 供 imagePullSecret 拉取私有镜像使用

内置 Secret:Service Account 使用 API 凭证自动创建和附加

Kubernetes 自动创建包含访问 API 凭据的 Secret,并自动修改您的 Pod 以使用此类型的 Secret。每个命名空间都有一个默认的 default ServiceAccount,Pod 创建时若未显式指定 spec.serviceAccountName,系统会自动指派 default,并把该 ServiceAccount 关联的 token Secret 自动挂载到容器的 /run/secrets/kubernetes.io/serviceaccount 目录,目录内通常包含 ca.crt、namespace、token 三个文件(验证命令见 concepts/secret.md)。

如果需要,可以禁用或覆盖自动创建和使用 API 凭据。在 1.6 以上版本中:

  • 在 ServiceAccount 上设置 automountServiceAccountToken: false 可取消整类凭证的自动挂载;
  • 在单个 Pod 的 spec.automountServiceAccountToken: false 可只针对该 Pod 取消;
  • 两者同时设置时,Pod 级别的设置优先级更高。

关于 Service Account 的完整工作原理,可继续阅读 concepts/serviceaccount.md 与 guide/configure-pod-service-account.md。如果只是需要安全地访问 apiserver,推荐使用这套自动工作流;而手动创建 Service Account 的 API token Secret,则可以通过如下方式(kubernetes.io/service-account-token 类型 + kubernetes.io/service-account.name 注解)实现:

$ cat > /tmp/build-robot-secret.yaml <<EOF
apiVersion: v1
kind: Secret
metadata:
  name: build-robot-secret
  annotations:
    kubernetes.io/service-account.name: build-robot
type: kubernetes.io/service-account-token
EOF
$ kubectl create -f /tmp/build-robot-secret.yaml
secret "build-robot-secret" created

创建后该 Secret 会替代原 ServiceAccount 的 token,其中 ca.crt、token、namespace 即为 Pod 内访问 API 的三要素;已不存在的 ServiceAccount 的 token 会被 token controller 清理。详细说明见 concepts/serviceaccount.md。

创建您自己的 Secret

使用 kubectl 创建 Secret

假设有些 Pod 需要访问数据库,这些 Pod 需要使用的用户名和密码存放在本地机器的 ./username.txt 和 ./password.txt 文件中:

# Create files needed for rest of example.
$ echo -n "admin" > ./username.txt
$ echo -n "1f2d1e2e67df" > ./password.txt

kubectl create secret 命令将这些文件打包到一个 Secret 中并在 API server 中创建了一个对象:

$ kubectl create secret generic db-user-pass --from-file=./username.txt --from-file=./password.txt
secret "db-user-pass" created

您可以这样检查刚创建的 secret:

$ kubectl get secrets
NAME                  TYPE                                  DATA      AGE
db-user-pass          Opaque                                2         51s

$ kubectl describe secrets/db-user-pass
Name:            db-user-pass
Namespace:       default
Labels:          <none>
Annotations:     <none>

Type:            Opaque

Data
====
password.txt:    12 bytes
username.txt:    5 bytes

请注意,默认情况下,get 和 describe 命令都不会显示文件的内容。这是为了防止将 Secret 中的内容意外暴露给从终端日志记录中刻意寻找它们的人。

除 --from-file 外,kubectl create secret generic 还支持 --from-literal=key=value 直接以字面量注入,以及 --from-env-file 从文件批量导入。仓库中 MariaDB 集群的凭据即采用这种方式管理,见下文“仓库实战”一节。

手动创建 Secret

您也可以先以 JSON 或 YAML 格式在文件中创建一个 Secret 对象,然后创建该对象。每一项必须是 base64 编码:

$ echo -n "admin" | base64
YWRtaW4=
$ echo -n "1f2d1e2e67df" | base64
MWYyZDFlMmU2N2Rm

现在可以像这样写一个 Secret 对象:

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
data:
  username: YWRtaW4=
  password: MWYyZDFlMmU2N2Rm

数据字段是一个映射,它的键必须匹配 DNS_SUBDOMAIN(前导点也是可以的)。这些值可以是任意数据,使用 base64 进行编码。使用 kubectl create 创建 secret:

$ kubectl create -f ./secret.yaml
secret "mysecret" created

编码注意: Secret 数据的序列化 JSON 和 YAML 值使用 base64 编码成字符串。换行符在这些字符串中无效,必须省略。当在 Darwin/OS X 上使用 base64 实用程序时,用户应避免使用 -b 选项来拆分长行。另外,对于 Linux 用户如果 -w 选项不可用的话,应该添加选项 -w 0 到 base64 命令,或管道 base64 | tr -d '\n'。

解码 Secret

可以使用 kubectl get secret 命令获取 secret。例如,获取上一节中创建的 secret:

$ kubectl get secret mysecret -o yaml
apiVersion: v1
data:
  username: YWRtaW4=
  password: MWYyZDFlMmU2N2Rm
kind: Secret
metadata:
  creationTimestamp: 2016-01-22T18:41:56Z
  name: mysecret
  namespace: default
  resourceVersion: "164619"
  selfLink: /api/v1/namespaces/default/secrets/mysecret
  uid: cfee02d6-c137-11e5-8d73-42010af00002
type: Opaque

解码密码字段:

$ echo "MWYyZDFlMmU2N2Rm" | base64 --decode
1f2d1e2e67df

需要特别强调的是:base64 只是编码,不是加密。如果将一个 base64 编码后的清单文件(JSON 或 YAML)共享出去或检入代码仓库,其中的密码仍然等于明文泄露。

使用 Secret

Secret 可以作为数据卷被挂载,或作为环境变量暴露出来以供 Pod 中的容器使用。它们也可以被系统的其他部分使用,而不直接暴露在 Pod 内。例如,它们可以保存凭据,系统的其他部分应该用它来代表您与外部系统进行交互。

在 Pod 中使用 Secret 文件(Volume 方式)

在 Pod 中的 volume 里使用 Secret:

  1. 创建一个 Secret 或者使用已有的 Secret,多个 Pod 可以引用同一个 Secret;
  2. 修改您的 Pod 定义,在 spec.volumes[] 下增加一个 volume。可以给这个 volume 随意命名,它的 spec.volumes[].secret.secretName 必须等于 Secret 对象的名字;
  3. 将 spec.containers[].volumeMounts[] 加到需要用到该 Secret 的容器中。指定 spec.containers[].volumeMounts[].readOnly = true 和 spec.containers[].volumeMounts[].mountPath 为您想要该 Secret 出现的尚未使用的目录;
  4. 修改您的镜像并且/或者命令行,让程序从该目录下寻找文件。Secret 的 data 映射中的每一个键都成为了 mountPath 下的一个文件名。

这是一个在 Pod 中使用 volume 挂载 secret 的例子:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: mypod
    image: redis
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
      readOnly: true
  volumes:
  - name: foo
    secret:
      secretName: mysecret

您想要用的每个 Secret 都需要在 spec.volumes 中指明。如果 Pod 中有多个容器,每个容器都需要自己的 volumeMounts 配置块,但是每个 Secret 只需要一个 spec.volumes。您可以打包多个文件到一个 Secret 中,或者使用多个 Secret,怎样方便就怎样来。

向特定路径映射 Secret 密钥

我们还可以控制 Secret key 映射在 volume 中的路径。使用 spec.volumes[].secret.items 字段修改每个 key 的目标路径:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: mypod
    image: redis
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
      readOnly: true
  volumes:
  - name: foo
    secret:
      secretName: mysecret
      items:
      - key: username
        path: my-group/my-username

将会发生什么呢:

  • username secret 存储在 /etc/foo/my-group/my-username 文件中,而不是 /etc/foo/username 中;
  • password secret 没有被映射。

重要限制: 如果使用了 spec.volumes[].secret.items,只有在 items 中指定的 key 被映射。要使用 Secret 中所有的 key,所有这些都必须列在 items 字段中;所有列出的密钥必须存在于相应的 Secret 中,否则不会创建卷。

Secret 文件权限

您还可以指定 Secret 将拥有的权限模式位文件。如果不指定,默认使用 0644。您可以为整个 Secret 卷指定默认模式,如果需要,可以覆盖每个密钥:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: mypod
    image: redis
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
  volumes:
  - name: foo
    secret:
      secretName: mysecret
      defaultMode: 256

然后,Secret 将被挂载到 /etc/foo 目录,所有通过该 Secret volume 挂载创建的文件的权限都是 0400。

请注意,JSON 规范不支持八进制符号,因此使用 256 值作为 0400 权限。如果您使用 YAML 而不是 JSON 作为 Pod,则可以使用八进制符号以更自然的方式指定权限。

您还可以使用映射(如上一个示例)为不同的文件指定不同的权限:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  containers:
  - name: mypod
    image: redis
    volumeMounts:
    - name: foo
      mountPath: "/etc/foo"
  volumes:
  - name: foo
    secret:
      secretName: mysecret
      items:
      - key: username
        path: my-group/my-username
        mode: 511

在这种情况下,/etc/foo/my-group/my-username 文件的权限值为 0777。由于 JSON 限制,必须以十进制格式指定模式。请注意,如果稍后阅读此权限值,可能会以十进制格式显示。

从 Volume 中消费 Secret 值

在挂载的 Secret volume 的容器内,Secret key 将作为文件,并且 Secret 的值使用 base-64 解码并存储在这些文件中。这是在上面的示例容器内执行的命令的结果:

$ ls /etc/foo/
username
password
$ cat /etc/foo/username
admin
$ cat /etc/foo/password
1f2d1e2e67df

容器中的程序负责从文件中读取 secret。

挂载的 Secret 被自动更新

当已经在 volume 中被消费的 Secret 被更新时,被映射的 key 也将被更新。Kubelet 在周期性同步时检查被挂载的 Secret 是不是最新的。但是,它正在使用其基于本地 ttl 的缓存来获取当前的 Secret 值。结果是,当 Secret 被更新的时刻到将新的 Secret 映射到 Pod 的时刻的总延迟,可以与 kubelet 中的 Secret 缓存的 kubelet sync period + ttl 一样长。

Secret 作为环境变量

将 Secret 作为 Pod 中的环境变量使用:

  1. 创建一个 Secret 或者使用一个已存在的 Secret,多个 Pod 可以引用同一个 Secret;
  2. 在每个容器中修改您想要使用 Secret key 的 Pod 定义,为要使用的每个 Secret key 添加一个环境变量。消费 Secret key 的环境变量应填充 Secret 的名称,并键入 env[x].valueFrom.secretKeyRef;
  3. 修改镜像并且/或者命令行,以便程序在指定的环境变量中查找值。
apiVersion: v1
kind: Pod
metadata:
  name: secret-env-pod
spec:
  containers:
  - name: mycontainer
    image: redis
    env:
      - name: SECRET_USERNAME
        valueFrom:
          secretKeyRef:
            name: mysecret
            key: username
      - name: SECRET_PASSWORD
        valueFrom:
          secretKeyRef:
            name: mysecret
            key: password
  restartPolicy: Never

消费环境变量里的 Secret 值: 在一个消耗环境变量 secret 的容器中,Secret key 作为包含 Secret 数据的 base-64 解码值的常规环境变量。这是从上面的示例在容器内执行的命令的结果:

$ echo $SECRET_USERNAME
admin
$ echo $SECRET_PASSWORD
1f2d1e2e67df

此外,envFrom 可以将整个 Secret 的键值对批量注入为环境变量。但需要注意:如果 Secret 中存在被认定为无效环境变量名的 key(例如 1badkey、2alsobad),这些键会被跳过,Pod 仍被允许启动,同时会产生一个 InvalidVariableNames 原因的事件:

$ kubectl get events
LASTSEEN   FIRSTSEEN   COUNT     NAME            KIND      SUBOBJECT                         TYPE      REASON
0s         0s          1         dapi-test-pod   Pod                                         Warning   InvalidEnvironmentVariableNames   kubelet, 127.0.0.1      Keys [1badkey, 2alsobad] from the EnvFrom secret default/mysecret were skipped since they are considered invalid environment variable names.

使用 imagePullSecret 拉取私有镜像

imagePullSecret 是将包含 Docker(或其他)镜像注册表密码的 Secret 传递给 Kubelet 的一种方式,因此可以代表您的 Pod 拉取私有镜像。创建私有 registry 认证 Secret 的两种方式(见 concepts/secret.md):

方式一,直接用 kubectl 命令创建:

$ kubectl create secret docker-registry myregistrykey --docker-server=DOCKER_REGISTRY_SERVER --docker-user=DOCKER_USER --docker-password=DOCKER_PASSWORD --docker-email=DOCKER_EMAIL
secret "myregistrykey" created.

方式二,读取 ~/.docker/config.json 的内容手动创建 kubernetes.io/dockerconfigjson 类型的 Secret:

$ cat ~/.docker/config.json | base64
$ cat > myregistrykey.yaml <<EOF
apiVersion: v1
kind: Secret
metadata:
  name: myregistrykey
data:
  .dockerconfigjson: UmVhbGx5IHJlYWxseSByZWVlZWVlZWVlZWFhYWFhYWFhYWFhYWFhYWFhYWFhYWFhYWFhYWxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGxsbGx5eXl5eXl5eXl5eXl5eXl5eXl5eSBsbGxsbGxsbGxsbGxsbG9vb29vb29vb29vb29vb29vb29vb29vb29vb25ubm5ubm5ubm5ubm5ubm5ubm5ubm5ubmdnZ2dnZ2dnZ2dnZ2dnZ2dnZ2cgYXV0aCBrZXlzCg==
type: kubernetes.io/dockerconfigjson
EOF
$ kubectl create -f myregistrykey.yaml

在创建 Pod 的时候,通过 imagePullSecrets 来引用刚创建的 myregistrykey:

apiVersion: v1
kind: Pod
metadata:
  name: foo
spec:
  containers:
    - name: foo
      image: janedoe/awesomeapp:v1
  imagePullSecrets:
    - name: myregistrykey

安排 imagePullSecrets 自动附加

您可以手动创建 imagePullSecret,并从 ServiceAccount 引用它。使用该 ServiceAccount 创建的任何 Pod(以及默认使用该 ServiceAccount 的 Pod)将会将其 imagePullSecrets 字段设置为服务帐户的 imagePullSecrets 字段。

最简单的做法是直接给 default ServiceAccount 打补丁:

kubectl patch serviceaccount default -p '{"imagePullSecrets": [{"name": "myregistrykey"}]}'

之后该命名空间内所有新创建的 Pod 的 spec 中都会自动出现:

spec:
  imagePullSecrets:
  - name: myregistrykey

手动创建的 Secret(例如包含用于访问 GitHub 帐户的令牌)也可以根据其 Service Account 自动附加到 Pod。完整流程(创建 Secret → 确认类型为 kubernetes.io/.dockerconfigjson → patch 或 kubectl replace 修改 ServiceAccount)参见 concepts/serviceaccount.md 与 guide/configure-pod-service-account.md。

仓库实战:Secret 在真实 Manifest 中的用法

Kubernetes Handbook 的 manifests 目录中保留了多个真实可用的 Secret 示例,正好覆盖 Opaque、kubernetes.io/rbd 与 secretKeyRef 三种典型场景。

1. MariaDB Galera 集群的数据库口令(Opaque 类型)

manifests/mariadb-cluster/mysql-secret.yaml 定义了一个 galera 命名空间下的 Opaque Secret:

apiVersion: v1
kind: Secret
metadata:
  name: mysql-secrets
  namespace: galera
  labels:
    app: mysql
data:
  # Root password: changeit run  echo -n jimmysong|base64
  root-password: amltbXlzb25n
  # Root user: root
  root-user: cm9vdA==

随后在 manifests/mariadb-cluster/galera-mariadb.yaml 的 StatefulSet 中通过 secretKeyRef 以环境变量方式消费:

env:
- name: MYSQL_ROOT_PASSWORD
  valueFrom:
    secretKeyRef:
      name: mysql-secrets
      key: root-password
- name: MYSQL_ROOT_USER
  valueFrom:
    secretKeyRef:
      name: mysql-secrets
      key: root-user

这验证了原文档“Secret key 以 env[x].valueFrom.secretKeyRef 注入”的用法,且该文件附带了 base64 生成注释(echo -n jimmysong|base64),便于读者自行替换口令。

2. Ceph RBD 的认证凭据(kubernetes.io/rbd 类型)

manifests/mariadb-cluster/ceph-secret.yaml 展示了存储类专用 Secret:

apiVersion: v1
kind: Secret
metadata:
  name: ceph-secret
  namespace: galera
type: "kubernetes.io/rbd"
data:
  key: AQCX06hZ9LnSBxAAYuoIT/ewbTRhKpTHOZLoRQ==

该 Secret 配合 StorageClass 的 adminSecretName/userSecretName 字段实现 Ceph RBD 持久化存储的动态供给,详见 practice/using-ceph-for-persistent-storage.md。这类 Secret 不直接暴露在 Pod 内,而是被系统其他部分(存储 provisioner)消费,正是原文档所述“它们可以保存凭据,系统的其他部分用它代表您与外部系统交互”的典型例子。

3. 结合 RBAC 的 ServiceAccount token Secret

在 guide/configure-pod-service-account.md 中,创建 ServiceAccount 后会自动生成 sample-sc-token-9x7nk 类型的 Secret(kubernetes.io/service-account-token),其中的 data.token 经过 base64 解码即是一个 JWT,可填入 kubeconfig 的 users<a href="https://link.gitcode.com/i/4af66c4f39b7a28d6a2017cdf5d70c09" target="_blank">].user.token 字段,配合 ClusterRole/ClusterRoleBinding(如只读 pods、services、deployments)实现最小权限的集群访问。这也是 [concepts/rbac.md 中“用户与身份认证授权”的落地方式之一。

详细:限制与生命周期

限制

  • 先创建后引用:验证 Secret volume 来源时,确保指定的对象引用实际上指向一个类型为 Secret 的对象。因此,需要在依赖于它的任何 Pod 之前创建一个 Secret;
  • 命名空间隔离:Secret API 对象驻留在命名空间中,它们只能由同一命名空间中的 Pod 引用;
  • 1MB 大小上限:每个 Secret 的大小限制为 1MB,这是为了防止创建非常大的 Secret 会耗尽 apiserver 和 kubelet 的内存。然而,创建许多较小的 Secret 也可能耗尽内存,更全面限制 Secret 对内存使用的策略是计划中的功能;
  • kubelet 来源限制:Kubelet 仅支持从 API server 获取的 Pod 使用 Secret。这包括使用 kubectl 创建的任何 Pod,或间接通过 replication controller 创建的 Pod;不包括通过 kubelet --manifest-url 标志、--config 标志或其 REST API 创建的 Pod(这些不是创建 Pod 的常用方法);
  • 缺失引用的后果:必须先创建 Secret(除非将它们标记为可选项),否则必须在将其作为环境变量在 Pod 中使用之前创建 Secret。对不存在的 Secret 的引用将阻止 Pod 启动;通过 secretKeyRef 引用不存在的 key 同样会阻止 Pod 启动。

Secret 与 Pod 生命周期的联系

通过 API 创建 Pod 时,不会检查应用的 Secret 是否存在。一旦 Pod 被调度,kubelet 就会尝试获取该 Secret 的值。如果获取不到该 Secret,或者暂时无法与 API server 建立连接,kubelet 将会定期重试。Kubelet 将会报告关于 Pod 的事件,并解释它无法启动的原因。一旦获取到 Secret,kubelet 将创建并装载一个包含它的卷;在装完所有 Pod 的卷之前,都不会启动 Pod 的容器。

使用案例

使用案例:包含 SSH 密钥的 Pod

创建一个包含 SSH key 的 Secret:

$ kubectl create secret generic ssh-key-secret --from-file=ssh-privatekey=/path/to/.ssh/id_rsa --from-file=ssh-publickey=/path/to/.ssh/id_rsa.pub

安全性注意事项: 分享自己的 SSH 密钥之前要仔细思考:集群的其他用户可能有权访问该密钥。请使用您想共享 Kubernetes 集群的所有用户都可以访问的服务账户,如果它们遭到入侵,可以撤销。

现在我们可以创建一个使用 SSH 密钥引用 Secret 的 Pod,并在一个卷中使用它:

kind: Pod
apiVersion: v1
metadata:
  name: secret-test-pod
  labels:
    name: secret-test
spec:
  volumes:
  - name: secret-volume
    secret:
      secretName: ssh-key-secret
  containers:
  - name: ssh-test-container
    image: mySshImage
    volumeMounts:
    - name: secret-volume
      readOnly: true
      mountPath: "/etc/secret-volume"

当容器中的命令运行时,密钥的片段将可在以下目录:

/etc/secret-volume/ssh-publickey
/etc/secret-volume/ssh-privatekey

然后容器可以自由使用密钥数据建立一个 SSH 连接。

使用案例:包含 prod/test 凭据的 Pod

下面的例子说明一个 Pod 消费一个包含 prod 凭据的 Secret,另一个 Pod 使用测试环境凭据消费 Secret。

创建 Secret(使用 --from-literal):

$ kubectl create secret generic prod-db-secret --from-literal=username=produser --from-literal=password=Y4nys7f11
secret "prod-db-secret" created
$ kubectl create secret generic test-db-secret --from-literal=username=testuser --from-literal=password=iluvtests
secret "test-db-secret" created

创建 Pod(一个 List 中同时定义两个 Pod):

apiVersion: v1
kind: List
items:
- kind: Pod
  apiVersion: v1
  metadata:
    name: prod-db-client-pod
    labels:
      name: prod-db-client
  spec:
    volumes:
    - name: secret-volume
      secret:
        secretName: prod-db-secret
    containers:
    - name: db-client-container
      image: myClientImage
      volumeMounts:
      - name: secret-volume
        readOnly: true
        mountPath: "/etc/secret-volume"
- kind: Pod
  apiVersion: v1
  metadata:
    name: test-db-client-pod
    labels:
      name: test-db-client
  spec:
    volumes:
    - name: secret-volume
      secret:
        secretName: test-db-secret
    containers:
    - name: db-client-container
      image: myClientImage
      volumeMounts:
      - name: secret-volume
        readOnly: true
        mountPath: "/etc/secret-volume"

这两个容器将在其文件系统上显示以下文件,其中包含每个容器环境的值:

/etc/secret-volume/username
/etc/secret-volume/password

请注意,两个 Pod 的 spec 配置中仅有一个字段有所不同(secretName);这有助于使用普通的 Pod 配置模板创建具有不同功能的 Pod。您可以使用两个 Service Account 进一步简化基本 Pod spec:一个名为 prod-user 拥有 prod-db-secret,另一个称为 test-user 拥有 test-db-secret。然后,Pod spec 可以缩短为:

kind: Pod
apiVersion: v1
metadata:
  name: prod-db-client-pod
  labels:
    name: prod-db-client
spec:
  serviceAccount: prod-db-client
  containers:
  - name: db-client-container
    image: myClientImage

使用案例:Secret 卷中以点号开头的文件

为了将数据“隐藏”起来(即文件名以点号开头的文件),只需要让该键以一个点开始。例如,当如下 Secret 被挂载到卷中:

kind: Secret
apiVersion: v1
metadata:
  name: dotfile-secret
data:
  .secret-file: dmFsdWUtMg0KDQo=
---
kind: Pod
apiVersion: v1
metadata:
  name: secret-dotfiles-pod
spec:
  volumes:
  - name: secret-volume
    secret:
      secretName: dotfile-secret
  containers:
  - name: dotfile-test-container
    image: gcr.io/google_containers/busybox
    command:
    - ls
    - "-l"
    - "/etc/secret-volume"
    volumeMounts:
    - name: secret-volume
      readOnly: true
      mountPath: "/etc/secret-volume"

secret-volume 将包含一个单独的文件,叫做 .secret-file,dotfile-test-container 的 /etc/secret-volume/.secret-file 路径下将有该文件。

注意: 以点号开头的文件在 ls -l 的输出中被隐藏起来了;列出目录内容时,必须使用 ls -la 才能查看它们。

使用案例:Secret 仅对 Pod 中的一个容器可见

考虑一个需要处理 HTTP 请求的程序,执行一些复杂的业务逻辑,然后使用 HMAC 签署一些消息。因为它具有复杂的应用程序逻辑,所以在服务器中可能会出现一个未被注意的远程文件读取漏洞,这可能会将私钥暴露给攻击者。

这可以在两个容器中分为两个进程:前端容器,用于处理用户交互和业务逻辑,但无法看到私钥;以及可以看到私钥的签名者容器,它响应来自前端的简单签名请求(例如通过 localhost 网络)。

使用这种分割方法,攻击者现在必须欺骗应用程序服务器才能进行任意的操作,这可能比使其读取文件更难。实现上,由于 Pod 中的每个容器必须通过自己的 volumeMounts 请求 Secret 卷才能看到该 Secret,因此可以在 Pod 级别构建安全分区——不被挂载的容器完全看不到该 Secret 的任何文件。

最佳实践:客户端使用 Secret API

当部署与 Secret API 交互的应用程序时,应使用诸如 RBAC 之类的授权策略来限制访问:

  • 避免 watch/list:Secret 的重要性通常不尽相同,其中许多可能只对 Kubernetes 集群内(例如 Service Account 令牌)和对外部系统造成影响。即使一个应用程序可以理解其期望与之交互的 Secret 的权力,同一命名空间中的其他应用程序也可以使这些假设无效。因此,在命名空间中 watch 和 list Secret 的请求是非常强大的功能,应该避免这样的行为——列出 Secret 可以让客户端检查该命名空间中的所有 Secret。在集群中 watch 和 list 所有 Secret 的能力应该只保留给最有特权的系统级组件;
  • 按需 get:需要访问 Secrets API 的应用程序应该根据它们需要的 Secret 执行 get 请求。这允许管理员限制对所有 Secret 的访问,同时设置白名单访问应用程序需要的各个实例;
  • watch 资源而非 secret:为了提高循环获取的性能,客户端可以设计引用 Secret 的资源,然后 watch 资源,在引用更改时重新请求 Secret。

安全属性:保护机制与已知风险

保护

  • 因为 Secret 对象可以独立于使用它们的 Pod 而创建,所以在创建、查看和编辑 Pod 的流程中 Secret 被暴露的风险较小。系统还可以对 Secret 对象采取额外的预防措施,例如避免将其写入到磁盘中可能的位置;
  • 只有当节点上的 Pod 需要用到该 Secret 时,该 Secret 才会被发送到该节点上。它不会被写入磁盘,而是存储在 tmpfs 中。一旦依赖于它的 Pod 被删除,它就被删除;
  • 在大多数 Kubernetes 项目维护的发行版中,用户与 API server 之间的通信以及从 API server 到 kubelet 的通信都受到 SSL/TLS 的保护。通过这些通道传输时,Secret 受到保护;
  • 节点上的 Secret 数据存储在 tmpfs 卷中,因此不会传到节点上的其他磁盘;
  • 同一节点上的很多个 Pod 可能拥有多个 Secret。但是,只有 Pod 请求的 Secret 在其容器中才是可见的,因此一个 Pod 不能访问另一个 Pod 的 Secret;
  • Pod 中有多个容器时,每个容器必须请求其挂载卷中的 Secret 卷才能在容器内可见。这可用于在 Pod 级别构建安全分区。

风险

  • API server 的 Secret 数据以纯文本的方式存储在 etcd 中,因此:
    • 管理员应该限制 admin 用户访问 etcd;
    • API server 中的 Secret 数据位于 etcd 使用的磁盘上;管理员可能希望在不再使用时擦除/粉碎 etcd 使用的磁盘;
  • 如果您将 Secret 数据编码为 base64 的清单(JSON 或 YAML)文件并共享该文件或将其检入代码库,密码将会被泄露。base64 编码不是一种加密方式,一样是纯文本;
  • 应用程序在从卷中读取 Secret 后仍然需要保护 Secret 的值,例如不会意外记录或发送给不信任方;
  • 可以创建和使用 Secret 的 Pod 的用户也可以看到该 Secret 的值。即使 API server 策略不允许用户读取 Secret 对象,用户也可以运行暴露 Secret 的 Pod;
  • 如果运行了多个副本,那么这些 Secret 将在它们之间共享。默认情况下,etcd 不能保证与 SSL/TLS 的对等通信,尽管可以进行配置;
  • 目前,任何节点的 root 用户都可以通过模拟 kubelet 来读取 API server 中的任何 Secret。只有向实际需要它们的节点发送 Secret 才能限制单个节点的 root 漏洞的影响,该功能还在计划中。

延伸阅读

登录后查看全文
kubernetes-handbook