FATE OSX 1.0.0 深度解读:面向 FATE 2.0 的统一互联互通传输组件(Open Site Exchange)

原创2026-10-11 13:17:391,358 阅读
文章标签:联邦学习机器学习隐私计算深度学习分布式训练密码学人工智能微服务LLMOps

FATE OSX 1.0.0 深度解读:面向 FATE 2.0 的统一互联互通传输组件(Open Site Exchange)

导读

OSX(Open Site Exchange)是 FATE 2.x 中用于替代 FATE 1.x 多套通信组件(eggroll proxy、spark+pulsar/rabbitmq+nginx)的统一传输组件,其 1.0.0 版本在 FATE 仓库中正式发布。本文基于 java/osx/RELEASE.md 的发布说明,结合 doc/2.0/osx/osx.md 等仓库文档与 Java 源码,逐条解读 OSX 1.0.0 的传输接口、双协议、双计算引擎、Exchange 组网、路由热更新、日志排障与 TLS 安全传输等能力,帮助读者理解并落地 OSX 的配置、部署与运维。

一、背景:FATE 1.x 通信架构的痛点与 OSX 的定位

FATE 1.x 根据计算引擎的不同,维护了多套通信架构:

  • eggroll 计算引擎:通信依赖 eggroll 自带的 rollsite/proxy 组件,仅支持同步 RPC 调用 + 流式传输;
  • spark + pulsar + nginx:通过消息队列完成异步传输;
  • spark + rabbitmq + nginx:同上,消息队列换为 RabbitMQ。

这套架构带来的问题在 doc/2.0/osx/osx.md 中有明确总结:

  • 需要维护多套通信组件来支持不同的计算引擎;
  • 多种计算引擎组网困难,难以统一路由以及流控;
  • eggroll 通信只支持同步 rpc 调用 + 流式传输,不支持消息队列类型的异步传输;
  • pulsar、rabbitmq 等集群不易安装与维护,程序不容易感知集群间传输时出现的网络异常;
  • 不容易对消息队列组件进行自定义开发。

OSX 正是为解决上述问题而设计:以单一组件统一支持不同计算引擎(Eggroll、Spark),同时兼容 FATE 1.x 与 FATE 2.x 的传输接口,并按照《金融业隐私计算互联互通平台技术规范》实现传输接口,成为 FATE 2.0 互联互通架构中的核心通信底座。

二、OSX 1.0.0 核心特性全景(对照 Release Notes 逐条解读)

1. 传输接口兼容 FATE 1.x 与 FATE 2.x,对齐行业互联互通规范

Release 说明指出,OSX 1.0.0 按照《金融业隐私计算互联互通平台技术规范》实现了传输接口,且同时兼容 FATE1.X 版本与 FATE2.X 版本。

从源码看,这种双兼容是通过两套 gRPC 服务并存的方案实现的:

  • FATE 1.x 侧兼容:ProxyGrpcService 继承自 Eggroll 的 DataTransferServiceGrpc.DataTransferServiceImplBase,对外提供 push(流式推包)、unaryCall(同步单包调用)、polling 等 rollsite 经典接口,见 ProxyGrpcService.java;
  • FATE 2.x / 互联互通侧:PcpInterService 实现 PrivateTransferProtocolGrpc.PrivateTransferProtocolImplBase,对外提供 transport(流式)与 invoke(同步)两种 PTP 接口,见 PcpInterService.java。

两套接口通过 TechProvider 机制路由到不同的实现,FateTechProvider 是 FATE 相关的默认实现(FateTechProvider.java),这也为接入其他厂商(互联互通规范中的其他技术提供方)预留了 SPI 扩展点。

2. 传输协议:gRPC 同步与流式 + TLS

OSX 1.0.0 支持 gRPC 同步(unary)与流式(streaming)两种调用方式,并支持 TLS 安全传输。这意味着:

  • 在流式模式下,一方调用 transport 打开双向流,可连续发送 Inbound 消息;
  • 在同步模式下,一方调用 invoke 一次性完成请求/应答。

TLS 方面,服务端可以同时监听普通 gRPC 端口与 TLS gRPC 端口(grpc.port 与 grpc.tls.port),生产环境建议将 TLS 端口对外暴露、普通端口仅用于集群内部组件通信(详见本文「TLS 安全传输配置」一节)。

3. 支持 HTTP1.x 协议传输 + TLS

除 gRPC 外,OSX 1.0.0 还支持 HTTP 1.x 协议传输(队列模式),同样支持 TLS(HTTPS)。从源码结构看,broker 内置了嵌入式 HTTP Server(EmbeddedAsyncServer)以及 HTTP/HTTPS 连接池(HttpClientPool、HttpsClientPool),见 java/osx/osx-broker/src/main/java/org/fedai/osx/broker/http/。HTTP 端口(http.port / https.port)默认关闭,仅在需要对接采用 HTTP 协议的厂商算法容器时开启(FATE 算法默认使用 gRPC)。

4. 消息队列模式:替代 FATE 1.x 的 RabbitMQ 与 Pulsar

OSX 1.0.0 支持消息队列模式的传输,用于替代 FATE1.X 中的 rabbitmq 和 pulsar 组件。OSX 在本地实现了完整的队列存储与消费机制,从源码结构看包括:

  • TransferQueueManager:传输队列的管理与回收(TransferQueueManager.java);
  • ConsumerManager:消费者管理,内置长轮询(long pulling)线程与监控线程,见 ConsumerManager.java;
  • message 包与 store 包:基于内存映射文件(MappedFile)的消息落盘与存储;
  • ptp 包:对外暴露 produce / consume / release 等队列操作服务。

相比外部消息队列组件,OSX 的队列内置于 broker 进程内,可感知并控制集群间传输时的网络异常,也便于自定义开发,这正是 osx.md 中提到的对消息队列组件进行改造的诉求。

5. 计算引擎:同时支持 Eggroll 与 Spark

OSX 1.0.0 同时支持 Eggroll 与 Spark 两种计算引擎。对 Eggroll 的支持体现在 broker 内置了 Eggroll 客户端,包括 ClusterManagerClient(与 Eggroll cluster-manager 通信,负责 session 创建与注册、store 创建等,见 ClusterManagerClient.java)、ErSession、RollPair、PutBatchSinkUtil 等实现;当使用 Eggroll 引擎时,需要在 broker.properties 中配置 eggroll.cluster.manager.ip/port 指向 cluster-manager。

6. 支持以 Exchange 组件方式组网,兼容 FATE1.X 与 FATE2.X 接入

OSX 1.0.0 支持作为 Exchange 中心节点部署:各参与方(site)的 OSX 都接入 Exchange,由 Exchange 统一完成跨机构消息中转。从互联互通的角度,这种部署形态等价于互联互通规范中的中心节点拓扑,支持 FATE 1.x 与 FATE 2.x 站点接入同一交换网络。

7. 传输异常处理与日志输出能力增强

相比 rollsite,OSX 1.0.0 改善了传输过程中的异常处理逻辑,并提供更准确的日志输出以快速定位异常。OSX 的请求日志统一输出到 flow.log,格式为「时间戳 | 请求入口协议 | 流水号 | 处理动作 | …」,详细日志字段解析见本文「日志分析与排障」一节。

8. 路由配置与 rollsite 基本一致,降低迁移难度

OSX 的路由表配置(route_table.json)与 rollsite 的路由概念保持一致:同样以 partyId 为键组织路由,支持 default 与按角色(如 fateflow)配置多条 endpoint,支持同一目标多 IP 的负载均衡选择(System.currentTimeMillis() % ips.size() 轮询选择,见 DefaultFateRouterServiceImpl.java)。这使得从 rollsite 迁移到 OSX 的配置改动成本大幅降低。

9. 支持 HTTP 接口修改路由表并提供简单权限校验

路由表除了静态文件(route_table.json)加载外,还支持通过 HTTP 接口动态修改。从源码看,OSX 提供了 RouterTableSetService、RouterTableAddService、RouterTableGetService 等服务,并支持 token 校验:当配置 PROPERTY_ROUTER_CHANGE_NEED_TOKEN 开启时,修改路由前会通过 TokenValidator 校验请求携带的 token,见 RouterTableSetService.java。路由表文件支持热加载(FileRefreshableDataSource + 监听器),修改后无需重启应用(见「路由表配置实战」一节)。

10. 网络连接管理优化与内外端口分离

  • 连接管理:OSX 1.0.0 改进了网络连接管理逻辑,降低连接泄漏风险并提升传输效率。从源码结构看,broker 维护了 HTTP 连接池(HttpClientPool)与消费者长轮询队列管理(ConsumerManager 的 longPullingThread),并在 queue.max.free.time / queue.check.interval 等参数配合下定期回收空闲队列资源。
  • 内外端口分离:使用不同端口分别处理集群内与集群外的访问请求,便于对不同端口采用不同的安全策略(如内部端口仅内网可达、外部端口启用 TLS)。

三、组件设计与互联互通协议

组件分层

OSX 组件设计的核心思想(参见 osx.md 中的组件设计图)是:将「传输通道」与「上层算法」解耦,上层算法与传输组件之间、传输组件相互之间分别通过统一的互联互通协议接口通信。

OSX 组件设计图

其中定义了两种协议接口(proto 文件位于 doc/2.0/osx/):

  • bfia-x.proto:传输组件之间的接口定义,即站点与站点(site 到 site)之间跨机构传输报文所用的协议;
  • bfia-y.proto:算法与传输组件之间的接口定义,即算法容器(FATE 任务进程)与本地 OSX 之间交互所用的协议。

PTP 私有传输协议

互联互通侧的传输报文编码在 proto/osx/osx.proto 中定义(package org.ppc.ptp),核心报文结构如下:

message Inbound {
  map<string, string> metadata = 1;   // 报头,可选,预留扩展
  bytes payload = 2;                   // 报文,上层通信内容承载
}

message Outbound {
  map<string, string> metadata = 1;   // 报头
  bytes payload = 2;                  // 报文
  string code = 3;                    // 状态码
  string message = 4;                 // 状态说明
}

service PrivateTransferProtocol {
  rpc transport (stream Inbound) returns (stream Outbound);  // 流式传输
  rpc invoke (Inbound) returns (Outbound);                    // 同步传输
}

协议通过 Header 枚举定义通用报头(版本、厂商编码、TraceID、Token、源/目标节点编号、会话 ID 等),这些 Header 在 4 层协议下以二进制填充到报头,在 7 层协议(HTTP)下以 x-ptp-* 请求头传输;异步场景的消息话题(topic)、消息序列号、超时时间等扩展信息则编码在 Metadata 中。

四、两种传输模式:流式与队列

OSX 支持两种传输模式(详见 osx.md「传输模式」一节):

模式 协议 适用场景 说明
流式(Streaming) gRPC 兼容 FATE 1.x 版本传输,使用 Eggroll 计算引擎 对应 rollsite 的双向流式 push 语义
队列(Queue) gRPC、HTTP 1.x 可使用 Eggroll、Spark 或其他厂商计算引擎 按照互联互通规范实现的传输接口,推荐使用 gRPC 协议

要点:

  • 不同的传输模式使用不同的传输接口,不需要在 OSX 配置中显式指定,而是由 FATE 侧配置决定;
  • 多个参与方的情况下,双方需要预先商定使用的传输模式,只有双方使用同一种传输模式时才能正常工作;
  • 不同协议对应的路由表配置不一样(gRPC 路由使用 ip + port,HTTP 路由使用 url),详见「路由表配置实战」与「TLS 安全传输配置」两节。

五、broker.properties 完整配置说明

OSX 的最简配置(配置文件位于 {部署目录}/conf/broker/broker.properties):

grpc.port = 9377              # 服务监听的 gRPC 端口
eggroll.cluster.manager.ip = localhost   # 使用 Eggroll 引擎时,填 Eggroll cluster-manager 的 IP
eggroll.cluster.manager.port = 4670      # 使用 Eggroll 引擎时,填 Eggroll cluster-manager 的端口

仓库中的默认配置文件 broker.properties 还包含 eggroll.version(默认 3.1.0,service.sh 会根据该版本号选择加载 pb_lib/v2 还是 pb_lib/v3 的协议库)等字段。

全部配置参数如下表(来自 osx.md):

名称 含义 默认值 是否必须配置 说明
grpc.port 服务监听 gRPC 端口(非 TLS) 9370 否 默认的集群内部通信端口;非生产环境可将其作为集群间通信端口;生产环境出于安全考虑不应将其对外暴露,而应使用 TLS 端口对外暴露(参考 open.grpc.tls.server、grpc.tls.port)
eggroll.cluster.manager.ip 使用 Eggroll 计算引擎时,Eggroll cluster-manager 的 IP 无 否
eggroll.cluster.manager.port 使用 Eggroll 计算引擎时,Eggroll cluster-manager 的端口 无 否
open.grpc.tls.server 是否开启使用 TLS 的 gRPC 端口 false 否 开启后服务将额外监听一个使用 TLS 的 gRPC 端口
grpc.tls.port 服务监听 gRPC 端口(使用 TLS) 无 若 open.grpc.tls.server=true 则必填 生产环境一般将该端口用于对外通信,grpc.port 端口用于集群内部组件通信
open.http.server 是否开启 HTTP 1.x 协议端口(非 TLS) false 否 HTTP 协议目前只适用于队列模式传输;FATE1.X 版本接口不支持 HTTP 协议;若对接使用 HTTP 协议的其他厂商算法容器(FATE 算法默认使用 gRPC)则可开启,默认关闭
http.port httpServer 端口(非 TLS) 无 若 open.http.server=true 则必填
open.https.server 是否开启 HTTP 1.x 协议端口(TLS) false 否
http.context.path HTTP 服务端配置 /v1 否 例如 http://127.0.0.1:9370/v1/interconn/chan/invoke 中的 v1 字符串
http.servlet.path HTTP 服务端配置 /* 否 例如上述 URL 中 v1/ 之后的内容
https.port httpServer 端口(使用 TLS) 无 若 open.https.server=true 则必填
bind.host 绑定本地 IP(适用于 http 与 grpc server) 0.0.0.0 否
grpc.server.max.concurrent.call.per.connection 服务端单个 gRPC 连接最大并发 1000 否
grpc.server.max.inbound.message.size 服务端单个 gRPC 包最大大小 2147483647 否
grpc.server.max.inbound.metadata.size 服务端单个 gRPC 包最大 metadata 大小 134217728 否
grpc.server.flow.control.window 服务端 gRPC 流控窗口大小 134217728 否
grpc.server.keepalive.without.calls.enabled 服务端 gRPC 是否允许连接没有调用时保持存活 true 否
grpc.client.max.inbound.message.size 客户端单个 gRPC 包最大大小 2147483647 否
grpc.client.flow.control.window 客户端 gRPC 流控窗口大小 134217728 否
queue.max.free.time 队列最大空闲时间 43200000(毫秒) 否 空闲时间超过该配置的队列将被回收,释放本地资源
queue.check.interval 检查队列空闲定时任务间隔 60000(毫秒) 否
consume.msg.waiting.timeout 消费阻塞最大时间 3600000 否 若不同厂商算法组件消费接口中未指定超时时间,则使用该配置作为超时时间
grpc.oncompleted.wait.timeout gRPC 流式传输中一方完成传输后,等待另一方完成的时间 600(秒) 否 用于 gRPC 流式传输接口

六、路由表配置实战

路由配置文件为 {部署目录}/conf/broker/route_table.json。以下为不使用证书时的完整配置示例(本方 partyId 为 9999,对方 partyId 为 10000;若与遵循互联互通协议的其他厂商隐私计算产品对接,partyId 对应于互联互通协议的 nodeId):

{
  "route_table":
  {
    "9999":      //己方partyId 9999
    {
      "fateflow":[    //配置己方路由只需要配置fateflow地址即可,注意这里需要配置fateflow的grpc端口,默认是9360
        {
          "port": 9360,
          "ip": "localhost"
        }
      ]
    },
    "10000":{  //对方partyId 10000
      "default":[{   //配置对方路由,只需要配置default地址即可,地址为对方的osx grpc端口
        "port": 9370,
        "ip": "192.168.xx.xx"
      }]
    }
  },
  // self_party 为必填字段
  "self_party":[
    "9999"   //本方partyId
  ]
}

使用要点:

  • self_party 为必填字段,声明本方 partyId;
  • 己方路由只需配置 fateflow 地址(fateflow 的 gRPC 端口,默认 9360);
  • 对方路由只需配置 default 地址(对方 OSX 的 gRPC 端口);
  • 路由表修改之后不需要重启应用,系统会自动读取(基于 FileRefreshableDataSource 的文件监听,见 DefaultFateRouterServiceImpl.java);
  • 需要保证路由表文件内容为可解析的 JSON 格式,否则会解析失败。

从源码看,路由表还支持更多 endpoint 字段,包括 protocol(grpc/http)、url(HTTP 模式必填)、useSSL、useKeyStore、certChainFile、privateKeyFile、caFile、keyStoreFile、keyStorePassword、trustStoreFile、trustStorePassword 等(见 DefaultFateRouterServiceImpl.java),这些字段用于 TLS 场景下的客户端证书配置(见下一节)。

七、打包与部署

OSX 的打包与部署流程(详见 osx.md「部署教程」与「部署」):

  1. 打包:下载源码,打包机器需要安装 Maven + JDK;进入源码目录 java/osx/deploy,执行 sh auto-package.sh,执行完成后当前目录会出现 osx.tar.gz。
  2. 部署:部署机器需要安装 JDK 1.8+;解压 osx.tar.gz;进入部署目录,执行 sh service.sh start 启动。

从打包脚本 auto-package.sh 可以看到,打包产物 osx/ 目录包含 lib(broker 与依赖 jar)、pb_lib/v2、pb_lib/v3(协议库)、conf/broker(broker.properties)、conf/components 与 service.sh,即一键打包会完成「mvn clean package → 拷贝产物 → 打包 tar.gz」的全流程。

启动脚本 service.sh 提供完整的服务生命周期管理:

  • sh service.sh start:启动服务(默认 JVM 参数 -Xms4g -Xmx4g -XX:MaxDirectMemorySize=15g);
  • sh service.sh stop:优雅停止(若超时则 SIGKILL);
  • sh service.sh status:查看服务状态;
  • sh service.sh restart [time]:重启,可选参数为停止与启动之间的等待秒数(默认 2 秒);
  • sh service.sh debug:以调试模式启动(监听 7007 端口)。

服务主类为 org.fedai.osx.broker.Bootstrap,通过 -c {conf_dir} 参数指定配置目录(见 Bootstrap.java)。

八、日志分析与排障

默认日志目录位于安装目录下 logs/broker 文件夹:

  • flow.log:记录请求日志(访问日志);
  • broker.log:记录所有日志;
  • broker-error:记录异常日志;
  • broker-debug:debug 日志,默认不开启。

正常启动后可以在 broker.log 中看到启动完成日志;收到请求后 flow.log 会按「时间戳 | 请求入口协议 | 流水号 | 处理动作 | …」的格式输出访问日志。以下结合 osx.md 的六条示例日志说明各处理动作的含义:

日志 1:MSG_REDIRECT(队列模式下中转消息)

2023-11-27 23:53:42,320|grpc|1701100422_1009|MSG_REDIRECT|session:202311271901517083180_lr_0_0|topic:202311271901517083180_lr_0_0-host-10000-guest-9999-<dtype>-<dtype>|des:9999|code:E0000000000|cost:1|192.168.0.5:9370|size:224|msg:success

队列模式传输时,OSX 收到消息且不是该消息目的地,动作 MSG_REDIRECT 表示将该消息传递至其他合作方。格式:时间戳 | 请求入口协议 | 流水号 | 处理动作 | sessionId | topic | 目的地 partyId | 返回码 | 耗时 | 目的地 ip 端口 | 传输数据大小 | 返回 message。

日志 2:MSG_DOWNLOAD(队列模式下本地持久化)

2023-11-27 23:53:36,574|grpc|1701100416_9289|MSG_DOWNLOAD|session:202311271901517083180_lr_0_0|topic:202311271901517083180_lr_0_0-arbiter-10000-host-10000-g|offset-in-queue:100|des:10000|code:E0000000000|cost:0|size:2972|

队列模式传输时,OSX 收到消息且是该消息目的地,动作 MSG_DOWNLOAD 表示将该消息本地持久化。格式:时间戳 | 请求入口协议 | 流水号 | 处理动作 | sessionId | topic | 队列中消息数量 | 目的地 partyId | 返回码 | 耗时 | 数据大小。

日志 3:DEFUALT_CONSUME(队列消费)

2023-11-27 23:53:36,576|grpc|1701100416_7277|DEFUALT_CONSUME|session:202311271901517083180_lr_0_0|topic:202311271901517083180_lr_0_0-guest-9999-arbiter-10000-loss|req-offset:100|offset-in-queue:100|code:0|cost:0|

队列模式传输时,OSX 收到消费请求,动作 DEFUALT_CONSUME 表示从本地队列取出消息。格式:时间戳 | 请求入口协议 | 流水号 | 处理动作 | sessionId | topic | 请求消费的序列号 | 队列中消息总数 | 返回码 | 耗时。

日志 4:UNARY_CALL(fateflow 同步调用)

2023-11-27 23:54:23,318|grpc|UNARY_CALL|session:_fateflow_10000|topic:202311271901517083180|src:|des:10000|code:E0000000000|cost:18|127.0.0.1:9360|size:320|

OSX 收到 fateflow 的请求,动作 UNARY_CALL 表示为 fateflow 所使用的同步接口(对应 ProxyGrpcService.java 中的 unaryCall)。格式:时间戳 | 请求入口协议 | 处理动作 | sessionId | topic | 来源 partyId | 目的 partyId | 返回码 | 目的地 ip 端口 | 数据大小。

日志 5:PUSH_REMOTE(流式模式转发)

2023-11-27 23:44:44,128|grpc|11|PUSH_REMOTE|session:202311271453035771030_sbt_0_0|topic:putBatch-__rsk#...#host#10000#guest#9999-12|src:10000|des:9999|code:E0000000000|cost:0|192.168.0.5:9370|size:90536|

流式传输模式时,OSX 收到流式传输请求且不是该请求目的地,动作 PUSH_REMOTE 表示将请求转发至他处(192.168.0.5:9370 为目的地)。

日志 6:PUSH_EGGPAIR(流式模式落地 Eggroll)

2023-11-27 23:44:47,703|grpc|3|PUSH_EGGPAIR|session:202311271453035771030_sbt_0_0_host_10000|topic:putBatch-...#guest#9999#host#10000-1|code:E0000000000|cost:152|192.168.0.5:36110|size:98080|

流式传输模式时,OSX 收到流式传输请求且为该请求目的地,动作 PUSH_EGGPAIR 表示将请求转发至 Eggroll 所启动的进程 eggpair(192.168.0.5:36110 为目的地)。

掌握以上动作码(MSG_REDIRECT / MSG_DOWNLOAD / DEFUALT_CONSUME / UNARY_CALL / PUSH_REMOTE / PUSH_EGGPAIR),即可根据 flow.log 快速判断消息的流转路径与故障点。

九、TLS 安全传输配置

OSX 支持两种证书存储方式(证书生成命令详见 doc/2.0/osx/osx-tls.md):

  • 方式一:使用 keystore 密码箱存储私钥、证书、信任证书(JKS/PKCS12);
  • 方式二:使用单独文件存储私钥、证书、信任证书(cert chain / private key / ca)。

方式一:keystore 密码箱

gRPC(grpcs) server 端 broker.properties 配置:

# 打开 grpcs server 开关,并指定 grpcs 端口
grpc.tls.port=9371
open.grpc.tls.server= true
# server 端密码箱路径以及密码
grpc.server.keystore.file= server/identity.jks
grpc.server.keystore.file.password= XXXXXX
# server 端信任证书 keystore 路径及密码
grpc.server.trust.keystore.file= server/truststore.jks
grpc.server.trust.keystore.file.password= XXXXXX

对应 client 端路由表配置(在对应 partyId 下添加):

"default": [
  {
    "protocol": "grpc",
    "keyStoreFile": "私钥密码箱绝对路径",
    "keyStorePassword": "私钥密码箱密码",
    "trustStoreFile": "信任证书绝对路径",
    "trustStorePassword": "信任证书密码",
    "useSSL": true,
    "useKeyStore" : true,
    "port": 9885,
    "ip": "127.0.0.1"
  }
]

HTTP(https) server 端 broker.properties 配置:

# https 端口
https.port=8092
# 打开 https server 开关
open.https.server= true
# keystore 类型
http.ssl.trust.store.type=JKS
# https server 端密码箱路径以及密码
https.server.keystore.file= server/identity.jks
https.server.keystore.file.password= XXXXXX
# https server 端信任证书 keystore 路径及密码
https.server.trust.keystore.file= server/truststore.jks
https.server.trust.keystore.file.password= XXXXXX

对应 client 端路由表配置:

"default": [
  {
    "protocol": "http",
    "url": "https://ip:8092/v1/interconn/chan/invoke",
    "keyStoreFile": "私钥密码箱绝对路径",
    "keyStorePassword": "私钥密码箱密码",
    "trustStoreFile": "信任证书绝对路径",
    "trustStorePassword": "信任证书密码",
    "useSSL": true,
    "useKeyStore" : true
  }
]

方式二:单独文件存储证书

gRPC(grpcs) server 端 broker.properties 配置:

# 打开 grpcs server 开关,并指定 grpcs 端口
grpc.tls.port=9371
open.grpc.tls.server= true
# server 端公钥
grpc.server.cert.chain.file= server.crt
# server 端私钥
grpc.server.private.key.file= server.pem
# 信任证书
grpc.server.ca.file= ca.crt

对应 client 端路由表配置:

"default": [
  {
    "protocol": "grpc",
    "certChainFile": "公钥路径",
    "privateKeyFile": "私钥路径",
    "caFile": "信任证书路径",
    "useSSL": true,
    "useKeyStore" : false,
    "port": 9371,
    "ip": "127.0.0.1"
  }
]

HTTP(https) server 端 broker.properties 配置:

# https 端口
https.port=8092
# 打开 https server 开关
open.https.server= true
# server 端公钥
https.server.cert.chain.file= server.crt
# server 端私钥
https.server.private.key.file= server.pem
# 信任证书
https.server.ca.file= ca.crt

对应 client 端路由表配置:

"default": [
  {
    "protocol": "http",
    "url": "https://ip:8092/v1/interconn/chan/invoke",
    "certChainFile": "公钥路径",
    "privateKeyFile": "私钥路径",
    "caFile": "信任证书路径",
    "useSSL": true,
    "useKeyStore" : false
  }
]

证书生成可参考 doc/2.0/osx/osx-tls.md:方式一使用 keytool -genkeypair 生成 client/server 密钥库、keytool -exportcert 导出证书、keytool -importcert 互导信任证书;方式二则直接生成 PEM 格式的公钥、私钥与 CA 证书文件。

十、部署架构小结

OSX 部署时既可作为普通参与方节点,也可作为 Exchange 中心节点。以 Eggroll 为计算引擎时,OSX 一侧对接 FATE 算法(通过 fateflow 与本地算法进程通信),另一侧对接 Eggroll 的 cluster-manager 与 eggpair;以 Spark 为计算引擎时,OSX 对接 Spark 侧的计算组件。参与方之间、参与方与 Exchange 之间的跨机构传输统一走 OSX 的 gRPC/HTTP 通道:

OSX 部署架构(Eggroll 计算引擎)

OSX 互联互通组网示意图

综合来看,OSX 1.0.0 的意义在于将 FATE 1.x 中「一套计算引擎配一套通信组件」的碎片化通信架构,收敛为「一个传输组件、多协议多引擎、符合互联互通规范」的统一通信底座,为 FATE 2.x 的多引擎共存与跨厂商互联互通提供了基础能力。相关文档与源码入口汇总如下:

登录后查看全文
FATE