SpiceAI 项目增强：支持 Databricks 的 M2M 认证机制

在数据工程和机器学习领域，Databricks 平台因其强大的数据处理能力而广受欢迎。SpiceAI 项目近期对其 Databricks 连接器进行了重要升级，增加了对机器到机器(M2M)OAuth 认证的支持，这一改进将为开发者带来更安全、更便捷的集成体验。

背景与挑战

传统上，SpiceAI 与 Databricks 的集成主要依赖个人访问令牌(PAT)。然而，Databricks 即将弃用 PAT 机制，转向短期有效的令牌体系。这一变化使得现有的连接方式面临失效风险，亟需一种更现代化、更安全的认证方案。

解决方案概述

SpiceAI 团队选择实现 OAuth 2.0 的 M2M 认证流程作为标准连接方式。该方案基于服务主体(Service Principal)凭证，包括客户端ID和客户端密钥，运行时环境会自动处理令牌刷新等复杂流程。

技术实现细节

认证流程

1. 凭证配置：开发者需要在 Spicepod 配置文件中指定 Databricks 终端节点、集群ID以及服务主体凭证
2. 令牌获取：运行时使用服务主体凭证向 Databricks 认证服务器请求访问令牌
3. 令牌刷新：系统会监测令牌有效期，在到期前5分钟自动刷新
4. 会话维护：新令牌会被传递给 Spark 连接器实例以维持会话

关键组件

新增的 DatabricksTokenProvider 实现了 TokenProvider trait，专门负责令牌的生命周期管理。该组件采用 secrecy::SecretString 处理敏感信息，确保安全性。

配置示例

开发者可以通过以下 YAML 配置启用 M2M 认证：

datasets:
  - from: databricks:spiceai_sandbox.default.messages
    name: messages
    params:
        databricks_endpoint: ${secrets:DATABRICKS_ENDPOINT}
        databricks_cluster_id: ${secrets:DATABRICKS_CLUSTER_ID}
        databricks_client_id: ${secrets:DATABRICKS_CLIENT_ID}
        databricks_client_secret: ${secrets:DATABRICKS_CLIENT_SECRET}

安全考量

该实现遵循"默认安全"原则：

• 所有凭证都存储在加密的秘密存储中
• 令牌使用专门的保密字符串类型处理
• 自动化的令牌刷新机制避免了人工干预带来的风险

兼容性与适用范围

此次升级全面覆盖了 SpiceAI 的 Databricks 数据连接器和目录连接器，支持 Delta Lake 和 Spark 连接两种模式。同时，Databricks 模型提供程序也获得了相同的认证能力。

开发者体验优化

除了核心的认证功能外，该实现还支持传递 User-Agent 字符串，方便运维团队追踪请求来源。开发者可以通过可选参数 databricks_user_agent 自定义该值。

总结

SpiceAI 对 Databricks 连接器的这次升级，不仅解决了即将到来的 PAT 弃用问题，还为企业级应用提供了更符合现代安全标准的认证方案。通过自动化的令牌管理和简洁的配置方式，开发者可以更专注于业务逻辑的实现，而无需担心底层认证机制的复杂性。