Presto 0.291 版本发布详解:单节点执行、ALTER TABLE SET PROPERTIES 与安全加固全面解读
Presto 0.291 版本发布详解:单节点执行、ALTER TABLE SET PROPERTIES 与安全加固全面解读
导读
本文基于当前仓库中 Presto 官方发布说明 release-0.291.rst 整理而成,全面解读 Presto 0.291 版本在查询引擎核心、原生执行(Prestissimo)、连接器与安全方面的重要变更。读完本文,你将掌握该版本新增的单节点执行模式、ALTER TABLE SET PROPERTIES 语法、USE 语句访问控制、CTE 物化调度优化等关键能力的配置方式与底层实现线索,并能据此评估升级收益与注意事项。
版本概览与前提说明
Presto 0.291 是 Presto(Facebook 维护的分布式 SQL 查询引擎发行线)的一个功能与安全更新版本。本文描述的能力与配置项以当前仓库源码为准,涉及的核心配置解析代码位于 FeaturesConfig.java,会话级属性定义位于 SystemSessionProperties.java。在尝试文中新特性前,请确认集群使用的 Presto 发行版本为 0.291 或更新版本。
核心功能亮点
1. 新增 ALTER TABLE SET PROPERTIES 语句
0.291 版本正式引入了 ALTER TABLE SET PROPERTIES 语句,用于在 SQL 层直接修改表的连接器级属性,其完整语法与示例见 alter-table.rst。典型用法如下:
ALTER TABLE table_name SET PROPERTIES property_name = value [, ...];
这意味着此前需要借助连接器特定命令或外部工具才能完成的表属性修改,如今可以通过标准 SQL 统一完成。需要注意的是,可设置的属性及属性名约定由各连接器实现决定,SET PROPERTIES 并不能修改所有表属性,实际支持范围取决于连接器的 ConnectorMetadata 实现。
2. USE 语句新增 catalog 与 schema 级访问检查
在 USE 语句(切换当前 catalog/schema)中新增了 catalog 与 schema 级别的访问控制检查,防止用户切换到其无权访问的目录或模式。该能力使权限模型在会话切换路径上也保持一致,属于安全语义的收紧,升级后若权限配置不当,USE 语句可能比旧版本更早地拒绝执行。
3. 单节点执行模式(Single Worker Execution)
这是 0.291 的核心性能特性之一:为运行在大集群上的微小查询(tiny queries)降低延迟。启用后,查询将只使用一个节点执行,执行计划也会据此进行专门优化(例如去除不必要的分布式交换、减少调度开销)。
该特性可通过以下两种方式开启:
- 配置属性:
single-node-execution-enabled - 会话属性:
single_node_execution_enabled
从源码看,配置属性在 FeaturesConfig.java 中通过 @Config("single-node-execution-enabled") 解析,其默认值为 false(见同文件字段声明 private boolean singleNodeExecutionEnabled;),即默认关闭;会话属性在 SystemSessionProperties.java 中定义为 SINGLE_NODE_EXECUTION_ENABLED = "single_node_execution_enabled"。配置示例:
# etc/config.properties
single-node-execution-enabled=true
使用建议:该模式主要面向"大集群 + 极小型查询"的延迟敏感场景,典型如点查、元数据查询;对于需要分布式并行才能完成的大查询,应保持关闭。运维者可以根据查询特征按会话粒度启用,从而在同一集群内兼顾两类负载。
4. 新增直方图(Histogram)统计类型
0.291 在统计信息体系中新增了 histogram 统计类型,为优化器提供更精细的列数据分布信息,可用于改进基数估计与连接顺序选择等决策。该能力属于统计基础设施的扩展,对 ANALYZE 收集到的统计数据类型体系进行了扩充,后续优化器规则可以据此获得比单纯的 ndv/nullsFraction 更丰富的分布信息。
5. 支持 ALTER VIEW RENAME TO
新增 ALTER VIEW RENAME TO 操作支持,并为连接器实现提供了必要的基础设施。同一能力同步落地到了 Iceberg 连接器与 Memory 连接器,意味着这两个连接器管理的视图可以原生执行重命名操作,无需通过重建视图变通实现。
6. CTE 物化调度优化(enhanced CTE scheduling)
此前的 CTE 物化(CTE materialization)调度策略下,一旦查询中包含 CTE,整个查询都会被阻塞直到 CTE 写出完成。0.291 优化了该行为:现在只有包含"引用 CTE 写阶段"的 CTE 表扫描(table scan)的阶段会被阻塞,其余阶段可以并行调度执行,显著提升含 CTE 查询的并发度与整体延迟。
该行为由会话属性 enhanced_cte_scheduling_enabled 控制,且默认开启。源码佐证:配置项在 FeaturesConfig.java 中注册,字段默认值 enhancedCteSchedulingEnabled = true;会话属性在 SystemSessionProperties.java 定义为 "enhanced_cte_scheduling_enabled",并在判断是否应用 CTE 物化时被读取(见同文件 isCteMaterializationApplicable 相关逻辑)。如需回退旧行为,可显式关闭:
SET SESSION enhanced_cte_scheduling_enabled = false;
7. Iceberg 支持 time 类型按 ORC 文件格式分区
Iceberg 连接器新增了对 time 类型按 ORC 文件格式进行分区(partitioning)的支持,并配套增加了相应测试。这使得使用 ORC 格式的 Iceberg 表可以直接以 time 字段作为分区列,扩展了 Iceberg 在 Presto 中的分区能力边界。
8. scale-writers 默认开启
写入扩缩容特性 scale-writers 在 0.291 中默认开启(此前需要显式配置)。源码中 FeaturesConfig.java 注册了 @Config("scale-writers"),字段默认值 scaleWriters = true。该特性允许在写入阶段根据产出数据量动态调整 writer 数量,以平衡输出文件大小与写入并发度。关联的辅助配置包括 writer-min-size(目标最小输出大小,见 FeaturesConfig.java),配合 scale-writers 共同影响文件切分粒度。若希望恢复旧行为,可显式设置:
scale-writers=false
9. UUID 比较遵循 IETF RFC 4122
改进了 UUID 类型的比较语义,使其符合 IETF RFC 4122 规范,修正了此前版本在部分场景下 UUID 排序/比较结果与规范不一致的问题。对依赖 UUID 排序(如 ORDER BY、索引与范围判断)的查询,升级后结果顺序可能与旧版本不同,建议在升级前对涉及 UUID 排序的查询做回归验证。
通用(General)变更详情
除上述亮点外,0.291 还包含一批通用引擎级修复与增强:
函数行为修复
width_bucket(x, bins) -> bigint行为修正:此前bins中的null元素会被当作0处理,现改为在发现bins中存在null或非有限(non-finite)元素时直接抛出错误,避免静默产生错误结果。- 修复
strrpos函数在多字节字符场景下的定位 bug,保证对中文等多字节字符串的右向查找结果正确。
调度与协调器性能
- 改进协调器(coordinator)任务管理性能,降低大规模任务场景下的调度开销;
- 提升协调器在运行大量任务时的整体效率;
- 如上文所述,改进 CTE 物化的调度阻塞策略。
安全与 HTTP 层
- 改进认证过滤器(Authentication Filter)类的请求头处理,并新增
ClientRequestFilter.java接口(位于 Presto SPI),允许客户端侧以 SPI 方式注入请求过滤器,详见 client-request-filter.rst; - 增强内部 HTTP 端点安全性:在头部(headers)被使用前进行清洗(sanitizing),降低请求走私/头部注入类风险。
新函数
- 新增
google_polyline_decode函数:将 Google Polyline 编码转换为 Presto 的ST_Geometry类型; - 新增
google_polyline_encode函数:将 Presto 的ST_Geometry转换为 Google Polyline 编码。两个函数共同构成了地理围栏、路径类数据在 Presto 与 Google Polyline 格式间的双向互转能力。
新增配置与优化器
- 新增配置属性
plan-checker.config-dir,用于指定PlanCheckerProvider配置的目录; - 新增会话属性
include_values_node_in_connector_optimizer,使连接器优化器可以对包含VALUES节点的计划进行优化; - 新增会话属性
native_enforce_join_build_input_partition,用于不强制对 join build 侧输入进行分区; - 子字段剪枝优化器(subfield pruning optimizer)新增 delete 节点处理;
- 支持基于文件修改时间(file modification time)进行 ORC 元数据缓存失效,改善 ORC 文件被外部更新后元数据过期的场景。
其他
- 将内部使用的 MD5 更新为 SHA-256,提升哈希强度。
Prestissimo(原生执行)变更
Prestissimo 是 Presto 的 C++/Velox 原生执行引擎,0.291 为其新增了一批面向大宽表、写入与查询追踪的会话属性与能力:
- 针对超过 500 列的宽数据集,改进分区远程数据交换(partitioned remote exchange),改用按行(row-wise)编码,减少宽行序列化开销;
- 为原生 sidecar 插件与 Velox 计划转换端点新增原生计划检查器(native plan checker);
- 新增会话属性
native_spill_prefixsort_enabled、native_prefixsort_normalized_key_max_bytes、native_prefixsort_min_rows,用于控制前缀排序(prefix sort)的溢写(spill)行为; - 新增分区表 writer 线程自动扩缩容能力,通过会话属性
native_execution_scale_partitioned_writer_threads_enabled开启(仅原生执行可用); - 移除
experimental.table-writer-merge-operator-enabled配置属性及table_writer_merge_operator_enabled会话属性(已废弃); - 移除已废弃的
native_query_trace_task_reg_exp会话属性; - 支持使用环境变量作为配置值的占位替代,便于容器化部署时注入配置;
- 新增会话属性
native_query_trace_fragment_id与native_query_trace_shard_id,细化查询追踪(query trace)的控制粒度; - 新增会话属性
native_table_scan_scaled_processing_enabled与native_table_scan_scale_up_memory_usage_ratio,用于控制表扫描的按比例扩缩处理; - 新增缩放 writer 相关会话属性:
native_scaled_writer_rebalance_max_memory_usage_ratio、native_scaled_writer_max_partitions_per_writer、native_scaled_writer_min_partition_processed_bytes_rebalance_threshold、native_scaled_writer_min_processed_bytes_rebalance_threshold,用于精细调优写入线程重平衡策略。
安全(Security)变更
0.291 包含一轮密集的依赖升级与安全加固,重点包括:
- 修复
presto-pinot-toolkit与presto-product-tests中的安全漏洞(对应 CVE-2020-0287); - 两次修复 swagger-ui jar 中的安全漏洞(对应 CVE-2018-25031);
- 使用 SHA-256 算法改进 PBKDF2 哈希(对应 CWE-759,缓解弱口令哈希问题);
- 在
QueryStateInfoResource中使用 re2j 正则匹配,防护 ReDoS 攻击(对应 CVE-2024-45296); - 为 Presto UI 静态资源新增安全响应头:
Content-Security-Policy与X-Content-Type-Options,缓解 XSS 与 MIME 嗅探类风险; - 新增对可插拔自定义 Presto Authenticator(认证器)的支持,允许通过 SPI 扩展认证方式;
- 以
alluxio-core替换alluxio-shaded-client(对应 CVE-2023-44981); - 大批量依赖版本升级:avro 升至 1.11.4、grpc 升至 1.68.0、gson 升至 2.11.0、jetty 升至 9.4.56.v20240826、netty 升至 4.1.115.Final、druid-processing 升至 30.0.1、lucene 系列升至 8.10.0、hibernate-validator 升至 6.2.0.Final、Jackson 升至 2.15.4、snakeyaml 升至 2.0、nanoid 升至 3.3.8,分别对应 CVE-2024-47561、CVE-2022-25647、CVE-2024-8184、CVE-2024-47535、CVE-2024-45384/CVE-2024-45537、WS-2021-0646、CVE-2023-1932/CVE-2020-10693、PRISMA-2023-0067、CVE-2022-1471 等多批次漏洞通告。
升级建议:以上依赖升级大多涉及网络栈、序列化与认证链路,建议在升级 0.291 后对认证、TLS 与外部系统连通性做一次完整回归测试,尤其是依赖 gson/grpc/netty 的集成场景。
连接器(Connector)变更
BigQuery:修复 SELECT 语句因 NoClassDefFoundError: io/grpc/CallCredentials2 失败的问题。
Cassandra:改进加密协议,响应"不应使用弱 SSL/TLS 协议"的静态扫描规则(Java S4423),升级后请确认客户端与 Cassandra 服务端 TLS 协议版本兼容。
ClickHouse:新增 DateTime64 类型支持,可读取 ClickHouse 的高精度日期时间列。
Delta / Hive / Hudi / Iceberg:四个连接器统一新增 catalog.system.invalidate_metastore_cache 存储过程,用于使全部或部分 metastore 缓存失效,方便在外部元数据变更后手动刷新缓存,无需重启协调器。
Iceberg(本版本变更最集中的连接器):
- 提升扫描规划(scan planning)性能;
- 新增配置属性
iceberg.rest.nested.namespace.enabled,支持 Iceberg REST Catalog 的嵌套命名空间,默认true; - 支持
ALTER VIEW RENAME TO; - 当配置为
REST与NESSIE目录时,新增对view的支持; - 当配置为
REST与NESSIE目录时,支持在创建表时显式指定表位置(table location); - 移除 Iceberg 连接器中的内存 Hive metastore 缓存(改为依赖统一缓存机制);
- 支持 time 类型按 ORC 格式分区,并新增相应分区测试。
Memory:支持 ALTER VIEW RENAME TO。
MongoDB:文档新增"通过 TLS CA 文件连接 MongoDB 集群"的操作步骤,详见 mongodb.rst。
SPI(服务提供者接口)变更
0.291 对 SPI 的变更主要围绕"将更多计划节点与优化能力下沉到连接器":
- 改进
ExpressionOptimizer#optimize方法,引入变量解析器(variable resolver)并返回RowExpression; - 将
WindowNode、JoinNode、SemiJoinNode、MergeJoinNode、SpatialJoinNode加入 SPI; - 将
Delete、TableWriter、TableFinish节点加入 SPI; - 将
SemiJoin、Join、TableWriter、Delete、TableFinish节点加入连接器优化器(connector optimizer); - 为 sort 节点新增
partition by属性,用于指定排序作用域; - 从 SPI 移除
ConnectorJoinNode,统一改用JoinNode; - 移除连接器元数据中实验性的
getPreferredShuffleLayout方法,统一使用既有的getNewTableLayout、getInsertLayout; - 修改
PlanCheckerProviderFactory.create签名:改为传入配置属性 map,并以PlanCheckerProviderContext替换SimplePlanFragmentSerde。
连接器开发者提示:SPI 的破坏性变更(移除 ConnectorJoinNode、移除 getPreferredShuffleLayout、修改 PlanCheckerProviderFactory 签名)意味着第三方连接器插件在升级到 0.291 时需要同步适配这些接口。
UI 变更
Presto UI 的 SQL Client 新增对 BigInt 数据类型的支持(在受支持的浏览器上生效)。由于 BigInt 依赖浏览器的原生 JSON.parse 大整数解析能力,需确认浏览器兼容性后再依赖该功能展示大整数结果。
升级注意事项小结
- 默认行为变化:
scale-writers与enhanced_cte_scheduling_enabled均由默认开启变为默认开启(后者为新增特性默认开启),升级后无需额外配置即可获得新行为;如需保持旧语义请显式关闭。 - 单节点执行默认关闭:
single-node-execution-enabled默认false,需按需开启。 - 函数语义修正:
width_bucket对bins中null/非有限元素的处理从"当作 0"改为"抛错";UUID比较顺序调整为符合 RFC 4122,涉及这两类逻辑的查询请做回归验证。 - SPI 破坏性变更:自定义连接器插件需适配移除的
ConnectorJoinNode、getPreferredShuffleLayout及新的PlanCheckerProviderFactory签名。 - 安全与依赖升级:大量底层依赖(grpc、netty、jetty、gson、snakeyaml、Jackson 等)升级,建议升级后对认证、TLS、外部系统连接做回归测试。
参考资料
- 本文主体依据:release-0.291.rst
- 配置属性解析实现:FeaturesConfig.java
- 会话属性定义:SystemSessionProperties.java
ALTER TABLE SET PROPERTIES语法文档:alter-table.rst- 客户端请求过滤器开发文档:client-request-filter.rst