Polars库中read_ndjson函数数据类型推断行为变更分析

Polars是一个高性能的DataFrame库，在数据处理领域广受欢迎。近期，Polars从1.26.0版本升级到1.27.1版本后，read_ndjson函数在处理嵌套JSON数据时出现了行为变化，这值得开发者关注。

问题现象

在Polars 1.26.0版本中，当处理包含嵌套结构的NDJSON数据时，如果同一字段在不同行中存在不同的数据类型（例如一行是整数7，另一行是浮点数3.5），函数能够自动将字段类型统一为浮点数(Float64)，确保数据正确加载。

然而在1.27.0及更高版本中，同样的数据会导致错误："unexpected value while building Series of type Float64; found value of type UInt64: 7"。这表明新版本对数据类型一致性的检查更为严格。

技术背景

NDJSON(Newline Delimited JSON)是一种常见的日志格式，每行是一个独立的JSON对象。Polars的read_ndjson函数负责将这种格式转换为DataFrame。在处理过程中，需要进行数据类型推断，确定每列的最佳数据类型。

在嵌套结构中，如示例中的"metrics.conversions"字段，类型推断更为复杂。旧版本采用较为宽松的策略，允许数值类型自动提升（如整数到浮点数），而新版本则要求更严格的一致性。

解决方案

目前有两种应对策略：

1. 使用ignore_errors参数：通过设置ignore_errors=True，可以恢复类似旧版本的行为，允许自动类型转换。

df = pl.read_ndjson(StringIO("\n".join(li)), ignore_errors=True)

2. 预处理数据：在读取前确保数据一致性，例如将所有数值统一为浮点数格式。

最佳实践建议

对于生产环境，建议采取以下措施：

1. 明确数据规范，确保输入数据的一致性
2. 在升级Polars版本时，对JSON处理逻辑进行充分测试
3. 考虑使用schema参数显式指定数据类型，避免依赖自动推断
4. 对于不确定的数据源，使用ignore_errors作为防御性编程手段

总结

这一变更反映了Polars在数据类型处理上趋向严格化的设计方向。开发者需要了解这一变化，并相应调整代码，特别是在处理异构数据源时。通过合理使用ignore_errors参数或预处理数据，可以确保升级后的兼容性。