RisingWave流处理并行度优化：表与索引的固定并行度支持

背景与现状

在现代流处理系统中，并行度控制是优化资源利用率和处理性能的关键手段。RisingWave作为新一代的流处理数据库，当前提供了streaming_parallelism参数来控制系统级流处理并行度，支持设置为具体数值或"AUTO"模式。

然而，随着集群规模的扩大，这种一刀切的并行度控制策略显得不够灵活。特别是在大型生产环境中，物化视图(MV)通常是流处理的瓶颈，需要动态扩展，而表和索引则相对稳定，不需要过多的并行度资源。

问题分析

当前实现存在以下局限性：

1. 所有流处理对象(表、索引、物化视图)共享相同的并行度配置
2. 当达到actor数量上限时，只能建议用户扩展集群，无法精细控制
3. 缺乏针对不同类型对象的差异化并行度策略

解决方案

RisingWave计划引入两个新的系统参数：

• streaming_parallelism_for_table
• streaming_parallelism_for_index

这些参数允许管理员为表和索引单独设置固定的并行度，而物化视图则继续使用默认的自动扩展策略。这种设计基于以下考虑：

1. 资源优化：物化视图通常是处理瓶颈，需要更多资源；而表和索引相对稳定
2. 配置简化：通过系统级设置，避免为每个对象单独配置
3. 灵活性：支持会话级覆盖系统默认值

实现细节

参数优先级

1. 首先检查会话级streaming_parallelism_for_table/for_index设置
2. 若未设置，回退到streaming_parallelism参数
3. 最后使用系统默认策略

默认行为

默认情况下，这些参数设置为"ADAPTIVE"，保持与现有行为一致。用户可以根据需要调整为固定值。

集群扩展考虑

对于集群扩展场景，建议：

1. 对于表和索引，固定并行度(如4或8)通常足够
2. 物化视图继续使用自适应策略，充分利用新增资源

未来优化方向

1. 比例限制策略：引入类似Ratio(r)的策略，将并行度限制为CPU核心数的固定比例
2. 智能推荐：系统根据负载自动推荐并行度配置
3. 错误提示优化：在"too many actors"错误信息中加入并行度配置建议

总结

通过为表和索引引入独立的并行度控制，RisingWave能够更精细地管理流处理资源，在保证性能的同时提高资源利用率。这一改进特别适合大型生产环境，帮助用户在保持处理能力的同时控制资源消耗。

对于用户而言，新的配置方式既保持了简单性，又提供了必要的灵活性，是流处理优化的重要一步。随着后续更多智能策略的引入，RisingWave的流处理能力将更加强大和易用。