Electric-SQL 形状API新增列过滤功能解析

背景介绍

Electric-SQL作为一个实时同步数据库解决方案，其核心功能之一是通过"形状(Shape)"机制来控制客户端与服务器之间的数据同步范围。近期开发团队正在为形状API增加一项重要功能——列级别的过滤能力，这将使开发者能够更精细地控制同步到客户端的数据内容。

功能设计

新的API设计允许开发者在定义形状时指定需要同步的列名列表，基本调用形式如下：

useShape({
  url: `...`,
  table: `foo`,
  columns: [`id`, `title`, `created_at`]
})

这种设计具有以下技术特点：

1. 参数命名考量：团队经过讨论决定使用"columns"作为参数名，避免使用"select"可能带来的SQL语义混淆，明确表示这只是简单的列过滤而非完整的SELECT查询功能。

2. URL参数设计：在底层实现上，URL参数将采用逗号分隔的列名列表形式，保持与WHERE子句类似的命名约定。

3. 同步过滤机制：系统会基于所有过滤列的并集来配置复制过滤器，确保只同步必要的列数据。

技术实现要点

1. 初始快照处理：已有团队成员完成了初始快照相关的开发工作，新功能的实现需要与此部分代码进行协同。

2. 表名参数迁移：值得注意的是，当前有并行开发工作正在将表名参数迁移到特定参数位置，新功能需要与之保持兼容。

3. 性能优化：列过滤功能将显著减少网络传输数据量，特别是对于包含大字段的表结构，能有效提升同步效率和客户端存储利用率。

应用场景

这项功能特别适用于以下场景：

• 隐私数据保护：不同客户端根据权限级别同步不同的数据列
• 移动端优化：仅同步界面展示所需的列，减少存储和带宽消耗
• 性能敏感场景：避免同步不必要的大字段(如BLOB类型数据)

未来展望

列过滤功能是Electric-SQL精细化数据控制的第一步，后续可能会在此基础上扩展更复杂的数据转换和过滤能力，为开发者提供更强大的数据同步控制工具。