FATE OSX 1.0.0 深度解读:面向 FATE 2.0 的统一互联互通传输组件(Open Site Exchange)
FATE OSX 1.0.0 深度解读:面向 FATE 2.0 的统一互联互通传输组件(Open Site Exchange)
导读
OSX(Open Site Exchange)是 FATE 2.x 中用于替代 FATE 1.x 多套通信组件(eggroll proxy、spark+pulsar/rabbitmq+nginx)的统一传输组件,其 1.0.0 版本在 FATE 仓库中正式发布。本文基于 java/osx/RELEASE.md 的发布说明,结合 doc/2.0/osx/osx.md 等仓库文档与 Java 源码,逐条解读 OSX 1.0.0 的传输接口、双协议、双计算引擎、Exchange 组网、路由热更新、日志排障与 TLS 安全传输等能力,帮助读者理解并落地 OSX 的配置、部署与运维。
一、背景:FATE 1.x 通信架构的痛点与 OSX 的定位
FATE 1.x 根据计算引擎的不同,维护了多套通信架构:
- eggroll 计算引擎:通信依赖 eggroll 自带的 rollsite/proxy 组件,仅支持同步 RPC 调用 + 流式传输;
- spark + pulsar + nginx:通过消息队列完成异步传输;
- spark + rabbitmq + nginx:同上,消息队列换为 RabbitMQ。
这套架构带来的问题在 doc/2.0/osx/osx.md 中有明确总结:
- 需要维护多套通信组件来支持不同的计算引擎;
- 多种计算引擎组网困难,难以统一路由以及流控;
- eggroll 通信只支持同步 rpc 调用 + 流式传输,不支持消息队列类型的异步传输;
- pulsar、rabbitmq 等集群不易安装与维护,程序不容易感知集群间传输时出现的网络异常;
- 不容易对消息队列组件进行自定义开发。
OSX 正是为解决上述问题而设计:以单一组件统一支持不同计算引擎(Eggroll、Spark),同时兼容 FATE 1.x 与 FATE 2.x 的传输接口,并按照《金融业隐私计算互联互通平台技术规范》实现传输接口,成为 FATE 2.0 互联互通架构中的核心通信底座。
二、OSX 1.0.0 核心特性全景(对照 Release Notes 逐条解读)
1. 传输接口兼容 FATE 1.x 与 FATE 2.x,对齐行业互联互通规范
Release 说明指出,OSX 1.0.0 按照《金融业隐私计算互联互通平台技术规范》实现了传输接口,且同时兼容 FATE1.X 版本与 FATE2.X 版本。
从源码看,这种双兼容是通过两套 gRPC 服务并存的方案实现的:
- FATE 1.x 侧兼容:
ProxyGrpcService继承自 Eggroll 的DataTransferServiceGrpc.DataTransferServiceImplBase,对外提供push(流式推包)、unaryCall(同步单包调用)、polling等 rollsite 经典接口,见 ProxyGrpcService.java; - FATE 2.x / 互联互通侧:
PcpInterService实现PrivateTransferProtocolGrpc.PrivateTransferProtocolImplBase,对外提供transport(流式)与invoke(同步)两种 PTP 接口,见 PcpInterService.java。
两套接口通过 TechProvider 机制路由到不同的实现,FateTechProvider 是 FATE 相关的默认实现(FateTechProvider.java),这也为接入其他厂商(互联互通规范中的其他技术提供方)预留了 SPI 扩展点。
2. 传输协议:gRPC 同步与流式 + TLS
OSX 1.0.0 支持 gRPC 同步(unary)与流式(streaming)两种调用方式,并支持 TLS 安全传输。这意味着:
- 在流式模式下,一方调用
transport打开双向流,可连续发送Inbound消息; - 在同步模式下,一方调用
invoke一次性完成请求/应答。
TLS 方面,服务端可以同时监听普通 gRPC 端口与 TLS gRPC 端口(grpc.port 与 grpc.tls.port),生产环境建议将 TLS 端口对外暴露、普通端口仅用于集群内部组件通信(详见本文「TLS 安全传输配置」一节)。
3. 支持 HTTP1.x 协议传输 + TLS
除 gRPC 外,OSX 1.0.0 还支持 HTTP 1.x 协议传输(队列模式),同样支持 TLS(HTTPS)。从源码结构看,broker 内置了嵌入式 HTTP Server(EmbeddedAsyncServer)以及 HTTP/HTTPS 连接池(HttpClientPool、HttpsClientPool),见 java/osx/osx-broker/src/main/java/org/fedai/osx/broker/http/。HTTP 端口(http.port / https.port)默认关闭,仅在需要对接采用 HTTP 协议的厂商算法容器时开启(FATE 算法默认使用 gRPC)。
4. 消息队列模式:替代 FATE 1.x 的 RabbitMQ 与 Pulsar
OSX 1.0.0 支持消息队列模式的传输,用于替代 FATE1.X 中的 rabbitmq 和 pulsar 组件。OSX 在本地实现了完整的队列存储与消费机制,从源码结构看包括:
TransferQueueManager:传输队列的管理与回收(TransferQueueManager.java);ConsumerManager:消费者管理,内置长轮询(long pulling)线程与监控线程,见 ConsumerManager.java;message包与store包:基于内存映射文件(MappedFile)的消息落盘与存储;ptp包:对外暴露 produce / consume / release 等队列操作服务。
相比外部消息队列组件,OSX 的队列内置于 broker 进程内,可感知并控制集群间传输时的网络异常,也便于自定义开发,这正是 osx.md 中提到的对消息队列组件进行改造的诉求。
5. 计算引擎:同时支持 Eggroll 与 Spark
OSX 1.0.0 同时支持 Eggroll 与 Spark 两种计算引擎。对 Eggroll 的支持体现在 broker 内置了 Eggroll 客户端,包括 ClusterManagerClient(与 Eggroll cluster-manager 通信,负责 session 创建与注册、store 创建等,见 ClusterManagerClient.java)、ErSession、RollPair、PutBatchSinkUtil 等实现;当使用 Eggroll 引擎时,需要在 broker.properties 中配置 eggroll.cluster.manager.ip/port 指向 cluster-manager。
6. 支持以 Exchange 组件方式组网,兼容 FATE1.X 与 FATE2.X 接入
OSX 1.0.0 支持作为 Exchange 中心节点部署:各参与方(site)的 OSX 都接入 Exchange,由 Exchange 统一完成跨机构消息中转。从互联互通的角度,这种部署形态等价于互联互通规范中的中心节点拓扑,支持 FATE 1.x 与 FATE 2.x 站点接入同一交换网络。
7. 传输异常处理与日志输出能力增强
相比 rollsite,OSX 1.0.0 改善了传输过程中的异常处理逻辑,并提供更准确的日志输出以快速定位异常。OSX 的请求日志统一输出到 flow.log,格式为「时间戳 | 请求入口协议 | 流水号 | 处理动作 | …」,详细日志字段解析见本文「日志分析与排障」一节。
8. 路由配置与 rollsite 基本一致,降低迁移难度
OSX 的路由表配置(route_table.json)与 rollsite 的路由概念保持一致:同样以 partyId 为键组织路由,支持 default 与按角色(如 fateflow)配置多条 endpoint,支持同一目标多 IP 的负载均衡选择(System.currentTimeMillis() % ips.size() 轮询选择,见 DefaultFateRouterServiceImpl.java)。这使得从 rollsite 迁移到 OSX 的配置改动成本大幅降低。
9. 支持 HTTP 接口修改路由表并提供简单权限校验
路由表除了静态文件(route_table.json)加载外,还支持通过 HTTP 接口动态修改。从源码看,OSX 提供了 RouterTableSetService、RouterTableAddService、RouterTableGetService 等服务,并支持 token 校验:当配置 PROPERTY_ROUTER_CHANGE_NEED_TOKEN 开启时,修改路由前会通过 TokenValidator 校验请求携带的 token,见 RouterTableSetService.java。路由表文件支持热加载(FileRefreshableDataSource + 监听器),修改后无需重启应用(见「路由表配置实战」一节)。
10. 网络连接管理优化与内外端口分离
- 连接管理:OSX 1.0.0 改进了网络连接管理逻辑,降低连接泄漏风险并提升传输效率。从源码结构看,broker 维护了 HTTP 连接池(
HttpClientPool)与消费者长轮询队列管理(ConsumerManager的longPullingThread),并在queue.max.free.time/queue.check.interval等参数配合下定期回收空闲队列资源。 - 内外端口分离:使用不同端口分别处理集群内与集群外的访问请求,便于对不同端口采用不同的安全策略(如内部端口仅内网可达、外部端口启用 TLS)。
三、组件设计与互联互通协议
组件分层
OSX 组件设计的核心思想(参见 osx.md 中的组件设计图)是:将「传输通道」与「上层算法」解耦,上层算法与传输组件之间、传输组件相互之间分别通过统一的互联互通协议接口通信。
其中定义了两种协议接口(proto 文件位于 doc/2.0/osx/):
- bfia-x.proto:传输组件之间的接口定义,即站点与站点(site 到 site)之间跨机构传输报文所用的协议;
- bfia-y.proto:算法与传输组件之间的接口定义,即算法容器(FATE 任务进程)与本地 OSX 之间交互所用的协议。
PTP 私有传输协议
互联互通侧的传输报文编码在 proto/osx/osx.proto 中定义(package org.ppc.ptp),核心报文结构如下:
message Inbound {
map<string, string> metadata = 1; // 报头,可选,预留扩展
bytes payload = 2; // 报文,上层通信内容承载
}
message Outbound {
map<string, string> metadata = 1; // 报头
bytes payload = 2; // 报文
string code = 3; // 状态码
string message = 4; // 状态说明
}
service PrivateTransferProtocol {
rpc transport (stream Inbound) returns (stream Outbound); // 流式传输
rpc invoke (Inbound) returns (Outbound); // 同步传输
}
协议通过 Header 枚举定义通用报头(版本、厂商编码、TraceID、Token、源/目标节点编号、会话 ID 等),这些 Header 在 4 层协议下以二进制填充到报头,在 7 层协议(HTTP)下以 x-ptp-* 请求头传输;异步场景的消息话题(topic)、消息序列号、超时时间等扩展信息则编码在 Metadata 中。
四、两种传输模式:流式与队列
OSX 支持两种传输模式(详见 osx.md「传输模式」一节):
| 模式 | 协议 | 适用场景 | 说明 |
|---|---|---|---|
| 流式(Streaming) | gRPC | 兼容 FATE 1.x 版本传输,使用 Eggroll 计算引擎 | 对应 rollsite 的双向流式 push 语义 |
| 队列(Queue) | gRPC、HTTP 1.x | 可使用 Eggroll、Spark 或其他厂商计算引擎 | 按照互联互通规范实现的传输接口,推荐使用 gRPC 协议 |
要点:
- 不同的传输模式使用不同的传输接口,不需要在 OSX 配置中显式指定,而是由 FATE 侧配置决定;
- 多个参与方的情况下,双方需要预先商定使用的传输模式,只有双方使用同一种传输模式时才能正常工作;
- 不同协议对应的路由表配置不一样(gRPC 路由使用
ip+port,HTTP 路由使用url),详见「路由表配置实战」与「TLS 安全传输配置」两节。
五、broker.properties 完整配置说明
OSX 的最简配置(配置文件位于 {部署目录}/conf/broker/broker.properties):
grpc.port = 9377 # 服务监听的 gRPC 端口
eggroll.cluster.manager.ip = localhost # 使用 Eggroll 引擎时,填 Eggroll cluster-manager 的 IP
eggroll.cluster.manager.port = 4670 # 使用 Eggroll 引擎时,填 Eggroll cluster-manager 的端口
仓库中的默认配置文件 broker.properties 还包含 eggroll.version(默认 3.1.0,service.sh 会根据该版本号选择加载 pb_lib/v2 还是 pb_lib/v3 的协议库)等字段。
全部配置参数如下表(来自 osx.md):
| 名称 | 含义 | 默认值 | 是否必须配置 | 说明 |
|---|---|---|---|---|
| grpc.port | 服务监听 gRPC 端口(非 TLS) | 9370 | 否 | 默认的集群内部通信端口;非生产环境可将其作为集群间通信端口;生产环境出于安全考虑不应将其对外暴露,而应使用 TLS 端口对外暴露(参考 open.grpc.tls.server、grpc.tls.port) |
| eggroll.cluster.manager.ip | 使用 Eggroll 计算引擎时,Eggroll cluster-manager 的 IP | 无 | 否 | |
| eggroll.cluster.manager.port | 使用 Eggroll 计算引擎时,Eggroll cluster-manager 的端口 | 无 | 否 | |
| open.grpc.tls.server | 是否开启使用 TLS 的 gRPC 端口 | false | 否 | 开启后服务将额外监听一个使用 TLS 的 gRPC 端口 |
| grpc.tls.port | 服务监听 gRPC 端口(使用 TLS) | 无 | 若 open.grpc.tls.server=true 则必填 |
生产环境一般将该端口用于对外通信,grpc.port 端口用于集群内部组件通信 |
| open.http.server | 是否开启 HTTP 1.x 协议端口(非 TLS) | false | 否 | HTTP 协议目前只适用于队列模式传输;FATE1.X 版本接口不支持 HTTP 协议;若对接使用 HTTP 协议的其他厂商算法容器(FATE 算法默认使用 gRPC)则可开启,默认关闭 |
| http.port | httpServer 端口(非 TLS) | 无 | 若 open.http.server=true 则必填 |
|
| open.https.server | 是否开启 HTTP 1.x 协议端口(TLS) | false | 否 | |
| http.context.path | HTTP 服务端配置 | /v1 | 否 | 例如 http://127.0.0.1:9370/v1/interconn/chan/invoke 中的 v1 字符串 |
| http.servlet.path | HTTP 服务端配置 | /* | 否 | 例如上述 URL 中 v1/ 之后的内容 |
| https.port | httpServer 端口(使用 TLS) | 无 | 若 open.https.server=true 则必填 |
|
| bind.host | 绑定本地 IP(适用于 http 与 grpc server) | 0.0.0.0 | 否 | |
| grpc.server.max.concurrent.call.per.connection | 服务端单个 gRPC 连接最大并发 | 1000 | 否 | |
| grpc.server.max.inbound.message.size | 服务端单个 gRPC 包最大大小 | 2147483647 | 否 | |
| grpc.server.max.inbound.metadata.size | 服务端单个 gRPC 包最大 metadata 大小 | 134217728 | 否 | |
| grpc.server.flow.control.window | 服务端 gRPC 流控窗口大小 | 134217728 | 否 | |
| grpc.server.keepalive.without.calls.enabled | 服务端 gRPC 是否允许连接没有调用时保持存活 | true | 否 | |
| grpc.client.max.inbound.message.size | 客户端单个 gRPC 包最大大小 | 2147483647 | 否 | |
| grpc.client.flow.control.window | 客户端 gRPC 流控窗口大小 | 134217728 | 否 | |
| queue.max.free.time | 队列最大空闲时间 | 43200000(毫秒) | 否 | 空闲时间超过该配置的队列将被回收,释放本地资源 |
| queue.check.interval | 检查队列空闲定时任务间隔 | 60000(毫秒) | 否 | |
| consume.msg.waiting.timeout | 消费阻塞最大时间 | 3600000 | 否 | 若不同厂商算法组件消费接口中未指定超时时间,则使用该配置作为超时时间 |
| grpc.oncompleted.wait.timeout | gRPC 流式传输中一方完成传输后,等待另一方完成的时间 | 600(秒) | 否 | 用于 gRPC 流式传输接口 |
六、路由表配置实战
路由配置文件为 {部署目录}/conf/broker/route_table.json。以下为不使用证书时的完整配置示例(本方 partyId 为 9999,对方 partyId 为 10000;若与遵循互联互通协议的其他厂商隐私计算产品对接,partyId 对应于互联互通协议的 nodeId):
{
"route_table":
{
"9999": //己方partyId 9999
{
"fateflow":[ //配置己方路由只需要配置fateflow地址即可,注意这里需要配置fateflow的grpc端口,默认是9360
{
"port": 9360,
"ip": "localhost"
}
]
},
"10000":{ //对方partyId 10000
"default":[{ //配置对方路由,只需要配置default地址即可,地址为对方的osx grpc端口
"port": 9370,
"ip": "192.168.xx.xx"
}]
}
},
// self_party 为必填字段
"self_party":[
"9999" //本方partyId
]
}
使用要点:
self_party为必填字段,声明本方 partyId;- 己方路由只需配置
fateflow地址(fateflow 的 gRPC 端口,默认 9360); - 对方路由只需配置
default地址(对方 OSX 的 gRPC 端口); - 路由表修改之后不需要重启应用,系统会自动读取(基于
FileRefreshableDataSource的文件监听,见 DefaultFateRouterServiceImpl.java); - 需要保证路由表文件内容为可解析的 JSON 格式,否则会解析失败。
从源码看,路由表还支持更多 endpoint 字段,包括 protocol(grpc/http)、url(HTTP 模式必填)、useSSL、useKeyStore、certChainFile、privateKeyFile、caFile、keyStoreFile、keyStorePassword、trustStoreFile、trustStorePassword 等(见 DefaultFateRouterServiceImpl.java),这些字段用于 TLS 场景下的客户端证书配置(见下一节)。
七、打包与部署
OSX 的打包与部署流程(详见 osx.md「部署教程」与「部署」):
- 打包:下载源码,打包机器需要安装 Maven + JDK;进入源码目录
java/osx/deploy,执行sh auto-package.sh,执行完成后当前目录会出现osx.tar.gz。 - 部署:部署机器需要安装 JDK 1.8+;解压
osx.tar.gz;进入部署目录,执行sh service.sh start启动。
从打包脚本 auto-package.sh 可以看到,打包产物 osx/ 目录包含 lib(broker 与依赖 jar)、pb_lib/v2、pb_lib/v3(协议库)、conf/broker(broker.properties)、conf/components 与 service.sh,即一键打包会完成「mvn clean package → 拷贝产物 → 打包 tar.gz」的全流程。
启动脚本 service.sh 提供完整的服务生命周期管理:
sh service.sh start:启动服务(默认 JVM 参数-Xms4g -Xmx4g -XX:MaxDirectMemorySize=15g);sh service.sh stop:优雅停止(若超时则 SIGKILL);sh service.sh status:查看服务状态;sh service.sh restart [time]:重启,可选参数为停止与启动之间的等待秒数(默认 2 秒);sh service.sh debug:以调试模式启动(监听 7007 端口)。
服务主类为 org.fedai.osx.broker.Bootstrap,通过 -c {conf_dir} 参数指定配置目录(见 Bootstrap.java)。
八、日志分析与排障
默认日志目录位于安装目录下 logs/broker 文件夹:
flow.log:记录请求日志(访问日志);broker.log:记录所有日志;broker-error:记录异常日志;broker-debug:debug 日志,默认不开启。
正常启动后可以在 broker.log 中看到启动完成日志;收到请求后 flow.log 会按「时间戳 | 请求入口协议 | 流水号 | 处理动作 | …」的格式输出访问日志。以下结合 osx.md 的六条示例日志说明各处理动作的含义:
日志 1:MSG_REDIRECT(队列模式下中转消息)
2023-11-27 23:53:42,320|grpc|1701100422_1009|MSG_REDIRECT|session:202311271901517083180_lr_0_0|topic:202311271901517083180_lr_0_0-host-10000-guest-9999-<dtype>-<dtype>|des:9999|code:E0000000000|cost:1|192.168.0.5:9370|size:224|msg:success
队列模式传输时,OSX 收到消息且不是该消息目的地,动作 MSG_REDIRECT 表示将该消息传递至其他合作方。格式:时间戳 | 请求入口协议 | 流水号 | 处理动作 | sessionId | topic | 目的地 partyId | 返回码 | 耗时 | 目的地 ip 端口 | 传输数据大小 | 返回 message。
日志 2:MSG_DOWNLOAD(队列模式下本地持久化)
2023-11-27 23:53:36,574|grpc|1701100416_9289|MSG_DOWNLOAD|session:202311271901517083180_lr_0_0|topic:202311271901517083180_lr_0_0-arbiter-10000-host-10000-g|offset-in-queue:100|des:10000|code:E0000000000|cost:0|size:2972|
队列模式传输时,OSX 收到消息且是该消息目的地,动作 MSG_DOWNLOAD 表示将该消息本地持久化。格式:时间戳 | 请求入口协议 | 流水号 | 处理动作 | sessionId | topic | 队列中消息数量 | 目的地 partyId | 返回码 | 耗时 | 数据大小。
日志 3:DEFUALT_CONSUME(队列消费)
2023-11-27 23:53:36,576|grpc|1701100416_7277|DEFUALT_CONSUME|session:202311271901517083180_lr_0_0|topic:202311271901517083180_lr_0_0-guest-9999-arbiter-10000-loss|req-offset:100|offset-in-queue:100|code:0|cost:0|
队列模式传输时,OSX 收到消费请求,动作 DEFUALT_CONSUME 表示从本地队列取出消息。格式:时间戳 | 请求入口协议 | 流水号 | 处理动作 | sessionId | topic | 请求消费的序列号 | 队列中消息总数 | 返回码 | 耗时。
日志 4:UNARY_CALL(fateflow 同步调用)
2023-11-27 23:54:23,318|grpc|UNARY_CALL|session:_fateflow_10000|topic:202311271901517083180|src:|des:10000|code:E0000000000|cost:18|127.0.0.1:9360|size:320|
OSX 收到 fateflow 的请求,动作 UNARY_CALL 表示为 fateflow 所使用的同步接口(对应 ProxyGrpcService.java 中的 unaryCall)。格式:时间戳 | 请求入口协议 | 处理动作 | sessionId | topic | 来源 partyId | 目的 partyId | 返回码 | 目的地 ip 端口 | 数据大小。
日志 5:PUSH_REMOTE(流式模式转发)
2023-11-27 23:44:44,128|grpc|11|PUSH_REMOTE|session:202311271453035771030_sbt_0_0|topic:putBatch-__rsk#...#host#10000#guest#9999-12|src:10000|des:9999|code:E0000000000|cost:0|192.168.0.5:9370|size:90536|
流式传输模式时,OSX 收到流式传输请求且不是该请求目的地,动作 PUSH_REMOTE 表示将请求转发至他处(192.168.0.5:9370 为目的地)。
日志 6:PUSH_EGGPAIR(流式模式落地 Eggroll)
2023-11-27 23:44:47,703|grpc|3|PUSH_EGGPAIR|session:202311271453035771030_sbt_0_0_host_10000|topic:putBatch-...#guest#9999#host#10000-1|code:E0000000000|cost:152|192.168.0.5:36110|size:98080|
流式传输模式时,OSX 收到流式传输请求且为该请求目的地,动作 PUSH_EGGPAIR 表示将请求转发至 Eggroll 所启动的进程 eggpair(192.168.0.5:36110 为目的地)。
掌握以上动作码(MSG_REDIRECT / MSG_DOWNLOAD / DEFUALT_CONSUME / UNARY_CALL / PUSH_REMOTE / PUSH_EGGPAIR),即可根据 flow.log 快速判断消息的流转路径与故障点。
九、TLS 安全传输配置
OSX 支持两种证书存储方式(证书生成命令详见 doc/2.0/osx/osx-tls.md):
- 方式一:使用 keystore 密码箱存储私钥、证书、信任证书(JKS/PKCS12);
- 方式二:使用单独文件存储私钥、证书、信任证书(cert chain / private key / ca)。
方式一:keystore 密码箱
gRPC(grpcs) server 端 broker.properties 配置:
# 打开 grpcs server 开关,并指定 grpcs 端口
grpc.tls.port=9371
open.grpc.tls.server= true
# server 端密码箱路径以及密码
grpc.server.keystore.file= server/identity.jks
grpc.server.keystore.file.password= XXXXXX
# server 端信任证书 keystore 路径及密码
grpc.server.trust.keystore.file= server/truststore.jks
grpc.server.trust.keystore.file.password= XXXXXX
对应 client 端路由表配置(在对应 partyId 下添加):
"default": [
{
"protocol": "grpc",
"keyStoreFile": "私钥密码箱绝对路径",
"keyStorePassword": "私钥密码箱密码",
"trustStoreFile": "信任证书绝对路径",
"trustStorePassword": "信任证书密码",
"useSSL": true,
"useKeyStore" : true,
"port": 9885,
"ip": "127.0.0.1"
}
]
HTTP(https) server 端 broker.properties 配置:
# https 端口
https.port=8092
# 打开 https server 开关
open.https.server= true
# keystore 类型
http.ssl.trust.store.type=JKS
# https server 端密码箱路径以及密码
https.server.keystore.file= server/identity.jks
https.server.keystore.file.password= XXXXXX
# https server 端信任证书 keystore 路径及密码
https.server.trust.keystore.file= server/truststore.jks
https.server.trust.keystore.file.password= XXXXXX
对应 client 端路由表配置:
"default": [
{
"protocol": "http",
"url": "https://ip:8092/v1/interconn/chan/invoke",
"keyStoreFile": "私钥密码箱绝对路径",
"keyStorePassword": "私钥密码箱密码",
"trustStoreFile": "信任证书绝对路径",
"trustStorePassword": "信任证书密码",
"useSSL": true,
"useKeyStore" : true
}
]
方式二:单独文件存储证书
gRPC(grpcs) server 端 broker.properties 配置:
# 打开 grpcs server 开关,并指定 grpcs 端口
grpc.tls.port=9371
open.grpc.tls.server= true
# server 端公钥
grpc.server.cert.chain.file= server.crt
# server 端私钥
grpc.server.private.key.file= server.pem
# 信任证书
grpc.server.ca.file= ca.crt
对应 client 端路由表配置:
"default": [
{
"protocol": "grpc",
"certChainFile": "公钥路径",
"privateKeyFile": "私钥路径",
"caFile": "信任证书路径",
"useSSL": true,
"useKeyStore" : false,
"port": 9371,
"ip": "127.0.0.1"
}
]
HTTP(https) server 端 broker.properties 配置:
# https 端口
https.port=8092
# 打开 https server 开关
open.https.server= true
# server 端公钥
https.server.cert.chain.file= server.crt
# server 端私钥
https.server.private.key.file= server.pem
# 信任证书
https.server.ca.file= ca.crt
对应 client 端路由表配置:
"default": [
{
"protocol": "http",
"url": "https://ip:8092/v1/interconn/chan/invoke",
"certChainFile": "公钥路径",
"privateKeyFile": "私钥路径",
"caFile": "信任证书路径",
"useSSL": true,
"useKeyStore" : false
}
]
证书生成可参考 doc/2.0/osx/osx-tls.md:方式一使用 keytool -genkeypair 生成 client/server 密钥库、keytool -exportcert 导出证书、keytool -importcert 互导信任证书;方式二则直接生成 PEM 格式的公钥、私钥与 CA 证书文件。
十、部署架构小结
OSX 部署时既可作为普通参与方节点,也可作为 Exchange 中心节点。以 Eggroll 为计算引擎时,OSX 一侧对接 FATE 算法(通过 fateflow 与本地算法进程通信),另一侧对接 Eggroll 的 cluster-manager 与 eggpair;以 Spark 为计算引擎时,OSX 对接 Spark 侧的计算组件。参与方之间、参与方与 Exchange 之间的跨机构传输统一走 OSX 的 gRPC/HTTP 通道:
综合来看,OSX 1.0.0 的意义在于将 FATE 1.x 中「一套计算引擎配一套通信组件」的碎片化通信架构,收敛为「一个传输组件、多协议多引擎、符合互联互通规范」的统一通信底座,为 FATE 2.x 的多引擎共存与跨厂商互联互通提供了基础能力。相关文档与源码入口汇总如下:


