AWS SDK Rust 中使用自定义 CA 证书连接 S3 服务的实践指南

在 AWS SDK Rust 项目中，开发者有时需要连接使用自签名证书的 S3 兼容存储服务。本文将详细介绍如何通过 Rust 语言实现这一需求，包括完整的代码示例和关键配置说明。

核心问题与解决方案

当连接使用自签名证书的 S3 兼容服务时，标准的 TLS 验证会失败。AWS SDK Rust 提供了灵活的 TLS 配置选项，允许开发者指定自定义的 CA 证书。

实现步骤详解

1. 项目依赖配置

首先需要在 Cargo.toml 中添加必要的依赖项：

[dependencies]
tokio = { version = "1.0", features = ["full"] }
aws-sdk-s3 = "1.82.0"
aws-smithy-client = "0.60.3"
clap = "4.5.36"
rustls = "0.23.26"
rustls-pemfile = "2.2.0"
hyper-rustls = "0.27.5"
tokio-rustls = "0.26.2"
aws-smithy-http-client = { version = "1.0.1", features = ["rustls-aws-lc"] }

2. 创建自定义 TLS 上下文

核心功能是创建一个包含自定义 CA 证书的 TLS 上下文：

use aws_smithy_http_client::tls;
use std::fs;

fn tls_context_from_pem(filename: &str) -> tls::TlsContext {
    let pem_contents = fs::read(filename).unwrap();
    
    let trust_store = tls::TrustStore::empty()
        .with_pem_certificate(pem_contents.as_slice());

    tls::TlsContext::builder()
        .with_trust_store(trust_store)
        .build()
        .expect("valid TLS config")
}

3. 构建 S3 客户端

完整的客户端构建过程包括以下几个关键部分：

use aws_sdk_s3::{Client, Config};
use aws_sdk_s3::config::{Credentials, Region, endpoint::Endpoint};

async fn build_s3_client(
    endpoint: String,
    cert_path: String,
    access_key: String,
    secret_key: String
) -> Client {
    // 创建TLS上下文
    let tls_context = tls_context_from_pem(&cert_path);

    // 构建HTTP客户端
    let smithy_client = Builder::new()
        .rustls_connector(tls_context)
        .build();

    // 配置S3客户端
    let aws_config = Config::builder()
        .region(Region::new("us-east-1"))
        .endpoint_resolver(Endpoint::immutable(endpoint.parse().unwrap()))
        .credentials_provider(Credentials::new(
            access_key,
            secret_key,
            None,
            None,
            "custom",
        ))
        .build();

    Client::from_conf(aws_config)
}

4. 使用客户端查询S3

实现一个简单的桶对象列表功能：

async fn list_bucket_objects(client: &Client, bucket: &str) {
    match client.list_objects_v2().bucket(bucket).send().await {
        Ok(output) => {
            if let Some(contents) = output.contents {
                println!("Objects in bucket '{}':", bucket);
                for object in contents {
                    if let Some(key) = object.key {
                        println!("- {}", key);
                    }
                }
            }
        }
        Err(err) => eprintln!("Error: {:?}", err),
    }
}

完整应用示例

下面是一个完整的命令行应用，集成了上述所有功能：

use clap::{Arg, Command};
use std::env;

#[tokio::main]
async fn main() {
    let matches = Command::new("S3 Client with Custom TLS")
        .arg(Arg::new("bucket").required(true))
        .arg(Arg::new("endpoint"))
        .arg(Arg::new("cert").required(true))
        .get_matches();

    let bucket = matches.get_one::<String>("bucket").unwrap();
    let endpoint = matches.get_one::<String>("endpoint")
        .unwrap_or(&"http://localhost:9000".to_string());
    let cert_path = matches.get_one::<String>("cert").unwrap();

    let client = build_s3_client(
        endpoint.to_string(),
        cert_path.to_string(),
        env::var("AWS_ACCESS_KEY_ID").unwrap(),
        env::var("AWS_SECRET_ACCESS_KEY").unwrap()
    ).await;

    list_bucket_objects(&client, bucket).await;
}

关键注意事项

1. 证书格式：确保提供的证书是有效的PEM格式
2. 端点协议：根据服务配置使用http或https
3. 错误处理：生产环境应实现更完善的错误处理
4. 性能考虑：TLS上下文创建是相对昂贵的操作，应考虑复用

总结

通过本文介绍的方法，开发者可以灵活地连接各种S3兼容存储服务，特别是那些使用自签名证书的环境。这种方案不仅适用于开发测试，也可以应用于生产环境中需要特殊证书配置的场景。AWS SDK Rust 提供的这种灵活性使其成为连接非标准S3服务的理想选择。