Narwhals v1.22.0 版本发布：多引擎数据操作库的重大更新

Narwhals 是一个创新的跨引擎数据操作库，它允许开发者使用统一的API接口在不同的计算引擎（如DuckDB、Spark等）上进行数据处理。这种设计理念使得开发者可以编写一次代码，就能在多个后端引擎上运行，大大提高了代码的可移植性和开发效率。

核心功能增强

DuckDB 引擎支持显著扩展

本次 v1.22.0 版本对 DuckDB 引擎的支持进行了大幅增强，新增了多项重要功能：

1. 日期时间处理能力提升：

   • 新增了 date 函数，用于提取日期部分
   • 实现了 dt.to_string 方法，支持将日期时间格式化为字符串
   • 添加了 dt.ordinal_day 方法，获取一年中的第几天
   • 提供了 dt.weekday 方法，计算星期几

2. 字符串操作增强：

   • 实现了 replace_all 方法，支持正则表达式替换
   • 新增了 str.len_chars 方法，计算字符串的字符长度（而非字节长度）

3. 高级数据处理功能：

   • 实现了 n_unique 方法，计算唯一值数量
   • 添加了 when/then/otherwise 条件表达式支持
   • 引入了 null_count 方法，统计空值数量

4. 连接操作扩展：

   • 实现了交叉连接（cross-join）功能
   • 添加了半连接（semi-join）支持
   • 改进了反连接（anti-join）功能

Spark 兼容性增强

为了提供更好的 Spark 兼容性，v1.22.0 版本新增了多项 SparkLike 方法：

1. 新增表达式方法：

   • 实现了 all 和 any 聚合函数
   • 添加了 null_count 方法
   • 完善了多种 dunder 方法（如 __add__, __sub__ 等）

2. 字符串处理扩展：

   • 新增了 SparkLikeStrNamespace 方法集
   • 实现了多种字符串操作方法

3. 命名空间方法：

   • 添加了 SparkLikeNamespace 方法
   • 实现了 lit 方法用于创建字面量表达式

重要改进与修复

1. 错误处理优化：

   • 改进了 check_columns_exist 的错误消息，使其更加清晰
   • 修复了 to_py_scalar 在处理 decimal 类型时的异常问题

2. 统计计算修正：

   • 修复了 DuckDB 中 skew 函数在元素少于3个时的计算问题
   • 修正了版本解析逻辑，特别是对 DuckDB 预发布版本的处理

3. 连接操作改进：

   • 解决了列名包含空格时 DuckDB 连接操作失败的问题
   • 优化了左连接警告的过滤逻辑

架构与代码质量提升

1. 代码重构：

   • 将命名空间逻辑从表达式和系列中分离出来，提高了代码组织性
   • 移除了部分不必要的表达式默认参数
   • 提前验证 nw.when 中的谓词条件

2. 测试增强：

   • 将 PySpark 测试整合到主测试套件中
   • 添加了 Dask 的夜间测试支持

3. 类型提示完善：

   • 修正了 is_between 方法的类型提示

总结

Narwhals v1.22.0 版本标志着该项目在多引擎支持方面迈出了重要一步，特别是对 DuckDB 引擎的功能覆盖达到了新的高度。通过新增大量日期时间处理、字符串操作和连接功能，开发者现在能够在 DuckDB 上执行更复杂的数据处理任务。同时，Spark 兼容性的持续增强使得 Narwhals 作为统一数据操作接口的价值更加凸显。

这一版本不仅带来了功能上的丰富，还通过代码重构和错误处理优化显著提升了库的稳定性和可维护性。对于需要在不同计算引擎间迁移或维护统一代码库的数据团队来说，Narwhals v1.22.0 无疑是一个值得升级的版本。