Azure Data Factory JavaScript SDK v19.0.0 新特性解析

项目概述

Azure Data Factory 是微软提供的云数据集成服务，允许用户创建数据驱动的工作流来协调和自动化数据移动及数据转换。@azure/arm-datafactory 是该服务的 JavaScript SDK，为开发者提供了以编程方式管理 Azure Data Factory 资源的接口。

主要更新内容

1. 新增 Teradata 数据源支持

本次更新最显著的变化是增加了对 Teradata 数据库的全面支持。开发者现在可以通过 SDK 实现：

• Teradata 导入命令：新增了 TeradataImportCommand 接口，用于定义从 Teradata 导入数据的配置
• Teradata 接收器：新增 TeradataSink 接口，支持将数据写入 Teradata 数据库
• 连接增强：为 TeradataLinkedService 添加了多项新配置选项，包括字符集设置、HTTPS 端口号、最大响应大小、端口号、SSL 模式和数据加密选项

这些增强使得从 Teradata 数据库迁移数据到 Azure 生态系统的过程更加灵活和可控。

2. Azure PostgreSQL 功能增强

针对 Azure PostgreSQL 服务，本次更新带来了多项改进：

• 写入方法支持：新增 AzurePostgreSqlWriteMethodEnum 枚举类型，提供更多数据写入策略选择
• Upsert 操作：通过 AzurePostgreSqlSinkUpsertSettings 接口支持 Upsert 操作配置
• 认证方式扩展：AzurePostgreSqlLinkedService 现在支持服务主体认证等多种认证方式，包括证书认证和密钥认证
• 云环境指定：新增 azureCloudType 参数，允许明确指定使用的 Azure 云环境

3. 多种数据源连接增强

本次更新对多个数据源连接进行了功能增强：

• Greenplum 连接：新增 GreenplumAuthenticationType 枚举，支持更多认证类型；增加连接超时、命令超时等配置选项
• Oracle 连接：新增 OracleAuthenticationType 枚举；支持批量加载、加密设置、初始化字符串等高级功能
• Snowflake V2 连接：增加角色和架构配置选项
• Office365 连接：支持服务主体证书认证方式

4. 数据类型处理改进

新增 ValueType 枚举类型，特别在 ServiceNowV2ObjectDataset 中增加了 valueType 参数，使得数据类型处理更加精确。同时，TypeConversionSettings 增加了日期和时间格式的配置选项，提高了数据转换的灵活性。

5. 脚本活动增强

ScriptActivity 新增了 returnMultistatementResult 参数，支持多语句执行结果的返回，增强了脚本活动的功能性。

兼容性说明

本次更新包含了一些破坏性变更，主要涉及命名规范化：

• 将 "LakeHouse" 相关类型名称统一改为 "Lakehouse" 形式
  • LakeHouseLinkedService 类型改为 Lakehouse
  • LakeHouseTableDataset 类型改为 LakehouseTable

这些变更虽然会导致现有代码需要相应调整，但有助于保持整个 SDK 命名的一致性。

技术价值

v19.0.0 版本的发布显著扩展了 Azure Data Factory 的数据源支持范围，特别是在企业级数据库 Teradata 的支持上迈出了重要一步。同时，对现有数据源连接的增强使得数据集成工作流可以更加精细地控制数据传输过程。新增的各种认证方式和连接参数为企业级安全需求提供了更多选择。

对于开发者而言，这些更新意味着：

1. 可以构建更复杂的数据集成场景，特别是涉及 Teradata 数据库的迁移或同步
2. 能够实现更安全的数据连接，支持多种企业级认证方式
3. 对数据转换过程有更精细的控制能力
4. 在处理特殊数据类型时更加得心应手

升级建议

对于正在使用旧版本 SDK 的项目，建议在测试环境中先行验证新版本，特别注意：

1. 检查所有使用 LakeHouse 相关类型的地方，更新为 Lakehouse
2. 评估新增功能是否能为现有数据集成方案带来改进
3. 测试 Teradata 相关功能是否符合预期
4. 验证各种连接增强功能在现有环境中的表现

总体而言，v19.0.0 为 Azure Data Factory 的 JavaScript SDK 带来了重要的功能扩展和质量改进，值得用户升级以获得更好的开发体验和更强大的数据集成能力。