MariaDB DuckDB 存储引擎排序规则映射(Collation Mapping)深入解析

原创2026-09-25 19:01:421,853 阅读
文章标签:数据库关系型数据库主从复制高可用全文检索分布式数据库后端

MariaDB DuckDB 存储引擎排序规则映射(Collation Mapping)深入解析

导读

本篇文章基于 storage/duckdb/docs/collation-mapping.md,系统讲解 MariaDB 与 DuckDB 两套截然不同的排序规则(collation)体系之间是如何完成映射的。你将了解到 DuckDB 内置排序规则与 ICU 区域排序规则的差异、get_duckdb_collation() 基于 CHARSET_INFO 标志位的判定逻辑、DDL 与会话上下文两条映射落地路径,以及当前映射的已知缺口与可行的改进方向,从而能在实际使用 ENGINE=DUCKDB 时准确预判字符串比较与排序行为。

背景:两套排序规则体系的根本差异

MariaDB 与 DuckDB 的排序规则体系在底层设计上完全不同:

  • MariaDB:按字符集(charset)挂载排序规则,其 UCA(Unicode Collation Algorithm)权重表基于特定 Unicode 版本生成。排序规则名称通常带有 _bin、_ai_ci、_as_ci、_as_cs 等后缀,分别表示二进制、重音不敏感+大小写不敏感、重音敏感+大小写不敏感、重音敏感+大小写敏感等行为。
  • DuckDB:内部统一以 UTF-8 存储所有字符串,并通过两种机制提供排序规则:
机制 说明 可组合性
内置排序规则 NOCASE(应用 lower())、NOACCENT(去除变音符)、NFC(Unicode 规范化) 可组合,如 NOCASE.NOACCENT
ICU 区域排序规则 来自 ICU 扩展,每个 ICU locale 对应一个(如 de、en_us、fr、zh),走完整 UCA 不可与内置排序规则组合

此外,DuckDB 还注册了 icu_noaccent,其 ICU tag 为 und-u-ks-level1-kc-true(主强度 + case level),可借助完整 UCA 算法实现重音不敏感、大小写不敏感的比较。

当前映射实现

映射逻辑实现在 storage/duckdb/common/duckdb_charset_collation.cc 的 get_duckdb_collation() 函数中,并在两处落地:

  1. DDL 转换(storage/duckdb/convertor/ddl_convertor.cc)——创建 / 修改表时,VARCHAR 列会依据列的 CHARSET_INFO 追加 COLLATE <collation>。
  2. 会话上下文(storage/duckdb/runtime/duckdb_context.cc)——每个 DuckDB 连接的 default_collation 由 MariaDB 会话的 collation_connection 推导而来。

DDL 转换路径

在 FieldConvertor 中,字符串类型的列(varchar)且携带字符集信息时,会调用 get_duckdb_collation() 并在类型后追加 COLLATE <collation>:

/* Append DuckDB collation for varchar columns */
if (ret == "varchar" && field->has_charset())
{
  std::string warn_msg;
  std::string co= myduck::get_duckdb_collation(field->charset(), warn_msg);
  ret.append(" COLLATE ").append(co);
}

这样在 DuckDB 侧生成的 CREATE TABLE 语句中,每个 VARCHAR 列都会带上换算后的排序规则;DDL 转换是逐列级别的映射。

会话上下文路径

DuckdbThdContext::config_duckdb_session() 会按需为 DuckDB 会话推送配置 SQL。排序规则相关逻辑如下:

/* Collation: force_no_collation overrides to binary (POSIX) */
std::string collation;
if (get_thd_force_no_collation(thd))
  collation= COLLATION_BINARY;
else
  collation=
      get_duckdb_collation(thd->variables.collation_connection, warn_msg);
if (collation != m_collation)
{
  config_sql.push_back("SET default_collation = '" + collation + "'");
  if (!m_collation.empty())
    push_duckdb_warning(thd, warn_msg);
  m_collation= collation;
}

要点:

  • 会话级排序规则取自已编译的 DuckDB 会话变量 duckdb_force_no_collation(定义于 storage/duckdb/ha_duckdb.cc,类型为 MYSQL_THDVAR_BOOL)。当该变量为真时,直接强制使用 POSIX(二进制比较),覆盖掉会话排序规则;
  • 否则根据 thd->variables.collation_connection 推导 DuckDB 的 default_collation;
  • 仅当换算结果与已缓存的 m_collation 不一致时才推送 SET default_collation = '...';若排序规则是显式变更(非初始建立),还会通过 push_duckdb_warning 附带警告。

支持的字符集

只有 utf8mb3、utf8mb4 和 ascii 三个字符集会被映射到具备语义的 DuckDB 排序规则。其余字符集(如 latin1、cp1251)一律回退到 POSIX(二进制比较),因为 DuckDB 无法复刻这些字符集基于字节级的排序规则。这一点在 get_duckdb_collation() 的入口处即有显式判断:

if (strcmp(cs->cs_name.str, "utf8mb3") &&
    strcmp(cs->cs_name.str, "utf8mb4") && strcmp(cs->cs_name.str, "ascii"))
{
  return COLLATION_BINARY;
}

判定逻辑与标志位

映射完全基于 CHARSET_INFO 的标志位——MY_CS_BINSORT、MY_CS_LOWER_SORT 以及 levels_for_order 位掩码——而非字符集名称,因此理论上对任意字符集都能工作:

/* _bin Collation */
if (cs->state & MY_CS_BINSORT)
  return COLLATION_BINARY;

/* utf8mb3_tolower_ci is _as_ci actually */
if (cs->state & MY_CS_LOWER_SORT)
  return COLLATION_NOCASE;

/* levels_for_order 位掩码:
   bit 0(primary)  - 恒置位
   bit 1(secondary)- 重音敏感度
   bit 2(tertiary) - 大小写敏感度 */
bool accent_sensitive= cs->levels_for_order & (1 << MY_CS_LEVEL_BIT_SECONDARY);
bool case_sensitive= cs->levels_for_order & (1 << MY_CS_LEVEL_BIT_TERTIARY);

/* _ai_ci Collation(如 utf8mb4_0900_ai_ci、latin1_swedish_ci) */
if (!case_sensitive && !accent_sensitive)
  return COLLATION_NOCASE_NOACCENT;

/* _as_ci Collation(如 utf8mb4_0900_as_ci) */
if (!case_sensitive)
  return COLLATION_NOCASE;

/* _as_cs / _ai_cs Collation */
return COLLATION_BINARY;

实现注释还特别指出:utf8mb3_tolower_ci 实际是 _as_ci 语义,因此走 MY_CS_LOWER_SORT 分支映射为 NOCASE。

映射总表

MariaDB 排序规则类型 levels_for_order 位 DuckDB 排序规则 示例 MariaDB 排序规则
_bin (binsort 标志) POSIX utf8mb4_bin
_ai_ci 仅 primary NOCASE.NOACCENT utf8mb4_general_ci、utf8mb4_0900_ai_ci
_as_ci primary + secondary NOCASE utf8mb4_0900_as_ci
_as_cs primary + secondary + tertiary POSIX utf8mb4_0900_as_cs
_tolower_ci (lower_sort 标志) NOCASE utf8mb3_tolower_ci
非 UTF-8 字符集 — POSIX latin1_swedish_ci

常量定义

常量定义于 storage/duckdb/common/duckdb_charset_collation.h:

static const std::string COLLATION_BINARY= "POSIX";
static const std::string COLLATION_NOCASE= "NOCASE";
static const std::string COLLATION_NOCASE_NOACCENT= "NOCASE.NOACCENT";

选择 POSIX 而非 binary 的原因:binary 是 DuckDB 的保留关键字,不能直接用作排序规则名称;而 DuckDB 对 POSIX 的处理与 binary 一致。

测试验证:行为一致性如何保证

仓库中的 MTR(mysql-test)用例直接验证了这套映射的正确性:

  • storage/duckdb/mysql-test/duckdb/t/charset_and_collation.test 与其 结果文件 采用"DUCKDB 表 + InnoDB 表"双表对照:在 SET NAMES ... COLLATE ... 切换各排序规则后,对比 SELECT 'a'='á' AS ai, 'a'='A' AS ci, 'A'='á' AS ai_ci 在两种引擎下的结果。例如:

    • utf8mb4_0900_ai_ci 下两者均返回 1 1 1(重音、大小写均不敏感);
    • utf8mb4_0900_as_ci 下两者均返回 0 1 0(重音敏感、大小写不敏感);
    • utf8mb4_0900_as_cs、utf8mb4_bin 下两者均返回 0 0 0。

    测试同时覆盖了列级 COLLATE 定义、ALTER TABLE 修改列排序规则以及 latin1 等非 UTF-8 字符集落到 POSIX 的场景。

  • storage/duckdb/mysql-test/duckdb/t/duckdb_collate.test 验证了会话隔离与强制关闭排序规则的开关:default_collation 的修改作用域仅为当前连接(con1 不受 default 连接 SET collation_connection 影响);SET duckdb_force_no_collation = true 后比较、min()、ORDER BY 均按二进制处理。

已知缺口(Known Gaps)

1. 内置 NOCASE 与 UCA 大小写折叠不一致

DuckDB 的 NOCASE 通过 lower() 实现简单的 Unicode 大小写折叠;而 MariaDB 的 UCA 系列 _ci 排序规则使用权重表处理复杂大小写场景。典型差异:

  • 德语中 ß 与 ss 的等价关系;
  • 土耳其语中 İ 与 I 并不等价。

这意味着对非 ASCII 字符,两种引擎的比较结果可能不同。

2. 内置 NOACCENT 与 UCA 重音处理的差异

DuckDB 的 NOACCENT 使用 strip_accents() 移除组合变音符号;MariaDB 的 _ai 排序规则使用 UCA 主权重,字符分组方式可能不同(例如 æ 这类连字)。

3. 没有 _as_cs 的 UCA 等价物

MariaDB 的 _as_cs 排序规则使用完整 UCA 第三级权重排序;而 DuckDB 侧的 POSIX(二进制)虽然保留了大小写与重音敏感,但排序顺序基于 UTF-8 字节值而非 UCA 权重。这会影响 ORDER BY 的结果顺序。

4. 非 UTF-8 字符集丢失排序语义

除 utf8mb3/utf8mb4/ascii 外的字符集一律映射为二进制比较。MariaDB 中 latin1_swedish_ci 的排序行为(如 ä = a、ö = o)在 DuckDB 侧完全丢失。

可能的改进方向

方案一:借助 ICU 区域排序规则提升 UCA 保真度

DuckDB 的 ICU 扩展为所有可用 ICU locale 注册了排序规则。与 MariaDB 各排序规则行为相对应的 ICU tag 如下:

UCA 行为 ICU tag DuckDB 排序规则
重音不敏感、大小写不敏感(_ai_ci) und-u-ks-level1-kc-true icu_noaccent(已注册)
重音敏感、大小写不敏感(_as_ci) und-u-ks-level2 尚未注册
重音敏感、大小写敏感(_as_cs) und-u-ks-level3 尚未注册

将 und-u-ks-level2 与 und-u-ks-level3 注册为自定义 DuckDB 排序规则并映射到它们,能在 UTF-8 排序规则上获得更接近 UCA 的等价行为。

方案二:注册 MariaDB 命名的排序规则

另一种思路是直接注册以 MariaDB 名称命名(如 utf8mb4_0900_ai_ci)的排序规则,内部委托给对应的 ICU collator。这样 DDL 转换器可以直接输出原始排序规则名称,完全避免翻译环节。

结语

排序规则映射是 MariaDB DuckDB 存储引擎在"跨引擎行为一致性"上的一处精细设计:它只关注 NOCASE 与 NOACCENT 两种行为,通过 CHARSET_INFO 标志位完成通用判定,并以 POSIX 兜底保证任何情况下都有确定性的比较语义。理解这套映射的边界与缺口,有助于在实际业务中预判 ENGINE=DUCKDB 表上的字符串比较、去重与排序行为,并为需要更高 UCA 保真度的场景(如借助 und-u-ks-level2/und-u-ks-level3 扩展排序规则)做好技术储备。

登录后查看全文
server