连接真实云环境:federated-rl-multicloud Kubernetes与OpenStack集成钩子完整教程
连接真实云环境:federated-rl-multicloud Kubernetes与OpenStack集成钩子完整教程
federated-rl-multicloud 是一个面向多云负载均衡与任务调度的联邦强化学习(Federated Reinforcement Learning)开源框架。通过内置的 Kubernetes 与 OpenStack 集成钩子,你可以让各区域的 PPO 强化学习智能体在真实云环境中执行弹性伸缩与虚拟机放置决策。本教程将带你完成从 dry-run 干跑模式到 live 真实模式的完整接入流程。⚡
集成钩子是什么?先了解项目架构
在深入配置之前,先了解 federated-rl-multicloud 的核心设计:
- 联邦学习层:多个云区域各自训练 PPO 智能体,再通过 FedAvg / FedProx 算法聚合全局策略
- 两级决策层:第一级负载均衡器选择云区域,第二级调度器选择具体节点
- 集成钩子层:对接 Kubernetes、OpenStack 与 Prometheus,将"学到的策略"变成真实的云操作
官方架构图(Mermaid 格式)位于 docs/figures/architecture.md,展示了多区域智能体之间的联邦聚合关系。
关键点:所有云集成钩子默认处于 dry-run(干跑)模式,不会触碰任何真实资源,非常适合新手安全上手。
快速开始:一键安装与冒烟测试
git clone https://gitcode.com/gh_mirrors/fe/federated-rl-multicloud
cd federated-rl-multicloud
python3 -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
# 运行合成多云模拟冒烟测试
python -m src.run_experiment --config configs/experiments/small_demo.yaml
依赖清单见 requirements.txt,其中已包含 kubernetes、requests、prometheus-client 等集成所需库;也可直接用 Makefile 中的 make setup、make run-demo 快捷目标。
实验配置在 configs/experiments/small_demo.yaml 中,注意 integrations 段:
integrations:
mode: dry # dry | live
kubernetes: configs/integrations/k8s_dry.yaml
openstack: configs/integrations/openstack_dry.yaml
prometheus: configs/integrations/prometheus.yml
Kubernetes 集成钩子:Deployment 弹性伸缩
Kubernetes 钩子实现在 src/hooks/k8s.py,核心函数是 scale_deployment:
| 参数 | 说明 |
|---|---|
name |
目标 Deployment 名称 |
replicas |
期望副本数 |
namespace |
命名空间,默认 default |
dry |
是否为干跑模式 |
工作机制很简单:
- dry-run 模式(默认):不加载任何 kubeconfig,直接返回
{'status': 'dry-run', ...}描述本次操作 - live 模式:设置环境变量
INTEGRATION_MODE=live后,函数才会真正导入kubernetes客户端,读取~/.kube/config,并通过AppsV1Api.patch_namespaced_deployment_scale修改副本数
对应的集群配置文件 configs/integrations/k8s_dry.yaml 声明了命名空间、伸缩上下限(1~10 副本)以及两个示例 Deployment:
mode: dry
namespace: default
scaling_limits:
min_replicas: 1
max_replicas: 10
deployments:
- name: "lb-gateway"
- name: "compute-node"
🔒 注意:live 模式要求当前用户对目标命名空间具备 RBAC 修改权限,生产环境务必先审查该配置再启用。
OpenStack 集成钩子:VM 放置决策
OpenStack 钩子位于 src/hooks/openstack.py,核心函数 place_vm 负责虚拟机创建决策:
- dry-run 模式(默认):返回
{'status': 'dry-run', 'flavor': ..., 'network': ...},模拟一次放置动作 - live 模式:
INTEGRATION_MODE=live时,通过openstacksdk连接 OpenStack,调用conn.create_server创建名为frl-node的虚拟机(Ubuntu 22.04 镜像)
配置文件 configs/integrations/openstack_dry.yaml 定义了接入点、项目配额与可用的 flavor 清单:
mode: dry
endpoint: "http://openstack.local"
project: "demo"
quota:
cores: 64
ram: 256000
flavors:
- name: m4.large
- name: c5.2xlarge
📌 live 模式依赖 openstacksdk 读取标准 OpenStack 环境变量(如 OS_AUTH_URL、OS_USERNAME 等)完成认证,请按你的云环境填写 endpoint 与项目名。
Prometheus 指标适配器:让 RL 看到真实监控数据
除了操作执行,还需要"感知"。Prometheus 适配器在 src/hooks/prometheus.py 中实现 query_vector 函数,通过 HTTP 请求 /api/v1/query 接口拉取指标向量(默认超时 2 秒,失败时优雅返回错误字典而非抛异常),用于将集群负载等监控信号喂给强化学习观察空间。
抓取配置见 configs/integrations/prometheus.yml,采集间隔 5 秒,目标为 frl:8000。项目还提供了一个开箱即用的 docker-compose.yaml:
docker compose up --build
该编排会启动实验容器(默认 INTEGRATION_MODE=dry)和一个 Prometheus stub 服务(端口 9090),方便本地验证整条监控链路。Docker 镜像定义见 Dockerfile。
从 dry-run 切换到 live 模式:安全检查清单
在启用真实云操作前,建议逐项确认 ✅:
- 确认权限最小化:K8s 侧准备专用 ServiceAccount,只授予目标命名空间的 scale 权限
- 审查配置文件:检查
configs/integrations/下的三个 YAML 中 endpoint、namespace、伸缩上下限是否符合你的环境 - 审查钩子源码:README 明确建议在启用 live 前通读 src/hooks/k8s.py 与 src/hooks/openstack.py
- 显式开启 live 模式:钩子代码中只有当
INTEGRATION_MODE=live时才走真实 API 分支,忘记设置时一切仍为干跑 - 从低配额开始:先调低
scaling_limits.max_replicas与 OpenStack quota,验证策略行为后再逐步放开 - 保留回滚手段:记录切换前的 Deployment 副本数与 VM 清单,实验入口 src/run_experiment.py 支持随时中断
常见问题速查
Q:为什么 live 模式没有真正生效?
A:确认环境变量 INTEGRATION_MODE=live 已导出(而非仅在 shell 中临时赋值),且 K8s 侧 ~/.kube/config 存在且指向目标集群。
Q:Prometheus 查询返回 {'error': ...}?
A:这是 src/hooks/prometheus.py 的正常容错行为,通常是 Prometheus 服务未启动或端口不通,可先用 docker compose up prometheus-stub 拉起本地实例验证。
Q:如何复现论文中的对比实验?
A:使用消融配置 configs/experiments/ablation_fedprox.yaml(通过 inherit 继承基础配置并切换为 FedProx),运行后用 src/tools/plot_results.py 生成延迟 CDF 与学习曲线。
总结
federated-rl-multicloud 用一套简洁的钩子抽象打通了"联邦强化学习策略 → 真实云操作"的最后一公里:
- src/hooks/k8s.py:Deployment 弹性伸缩(Kubernetes)
- src/hooks/openstack.py:虚拟机放置(OpenStack)
- src/hooks/prometheus.py:监控指标抓取(Prometheus)
所有钩子默认 dry-run,配合 INTEGRATION_MODE 环境变量即可平滑升级到 live 模式——先干跑验证策略、再小配额试跑、最后全量放开,这就是安全接入真实多云环境的最稳路径。🚀