YTsaurus项目中Arrow格式在Job代理中的支持与应用

背景介绍

YTsaurus作为分布式数据处理平台，其数据处理能力很大程度上依赖于高效的数据序列化格式。在数据处理流程中，格式转换往往成为性能瓶颈之一。本文将重点介绍YTsaurus 23.2版本中对Arrow格式在Job代理中的支持情况及其实际应用价值。

Arrow格式在YTsaurus中的演进

在YTsaurus早期版本中，Arrow格式仅支持通过网络接口读取数据，而在Job代理中并不支持。这导致用户在处理数据时需要经历多次格式转换：

1. 读取YSON格式数据
2. 转换为Python对象
3. 批处理
4. 转换为Pandas/Polars/PyArrow等数据框
5. 执行向量化操作

这种转换链条中，格式转换环节（特别是Python对象创建）消耗了大量时间，在某些场景下甚至占据了总处理时间的绝大部分。

性能对比

实际测试表明，当使用网络接口直接读取Arrow格式数据时，相比传统YSON处理流程可以获得5-10倍的性能提升。例如，一个原本需要2小时完成的任务，在使用Arrow格式后仅需10分钟左右。

23.2版本的关键改进

YTsaurus 23.2版本通过关键提交实现了Job代理对Arrow格式的完整支持。这一改进使得用户可以在MapReduce作业中直接使用Arrow格式作为输入和输出，完全避免了中间格式转换带来的性能损耗。

实际应用示例

以下代码展示了如何在23.2版本中使用Arrow格式：

from yt.wrapper.format import ArrowFormat
from yt.wrapper.schema import TableSchema
from yt.wrapper import TablePath
import yt.type_info as yt_type_info

# 创建客户端连接
client = create_yt_client()

# 定义表结构
schema = TableSchema().add_column("a", yt_type_info.Int64).build_schema_sorted_by("a")

# 写入测试数据
client.write_table(TablePath("//tmp/input", schema=schema), [{"a": i} for i in range(10)])

# 使用Arrow格式运行Map作业
client.run_map(
    "cat",
    "//tmp/input",
    "//tmp/output",
    input_format=ArrowFormat(raw=True),
    output_format=ArrowFormat(raw=True),
)

技术实现要点

1. 原始模式支持：通过设置raw=True参数，可以直接处理原始的Arrow数据，无需额外解析
2. 类型系统集成：与YTsaurus的类型系统(如yt_type_info)无缝集成
3. 性能优化：避免了Python对象创建的中间环节，直接进行向量化处理

版本兼容性说明

需要注意的是，Arrow格式在Job代理中的完整支持是从23.2版本开始引入的。用户在使用时应确保集群版本符合要求，否则会遇到"Unsupported input format"错误。

总结

YTsaurus 23.2版本对Arrow格式的完整支持为数据密集型应用带来了显著的性能提升。这一改进特别适合以下场景：

• 需要频繁进行向量化运算的应用
• 大数据量的批处理作业
• 使用Pandas/Polars等数据分析库的工作流

随着Arrow格式支持的完善，YTsaurus在高效数据处理方面又迈出了重要一步，为用户提供了更多性能优化的可能性。