MariaDB DuckDB 存储引擎排序规则映射(Collation Mapping)深入解析
MariaDB DuckDB 存储引擎排序规则映射(Collation Mapping)深入解析
导读
本篇文章基于 storage/duckdb/docs/collation-mapping.md,系统讲解 MariaDB 与 DuckDB 两套截然不同的排序规则(collation)体系之间是如何完成映射的。你将了解到 DuckDB 内置排序规则与 ICU 区域排序规则的差异、get_duckdb_collation() 基于 CHARSET_INFO 标志位的判定逻辑、DDL 与会话上下文两条映射落地路径,以及当前映射的已知缺口与可行的改进方向,从而能在实际使用 ENGINE=DUCKDB 时准确预判字符串比较与排序行为。
背景:两套排序规则体系的根本差异
MariaDB 与 DuckDB 的排序规则体系在底层设计上完全不同:
- MariaDB:按字符集(charset)挂载排序规则,其 UCA(Unicode Collation Algorithm)权重表基于特定 Unicode 版本生成。排序规则名称通常带有
_bin、_ai_ci、_as_ci、_as_cs等后缀,分别表示二进制、重音不敏感+大小写不敏感、重音敏感+大小写不敏感、重音敏感+大小写敏感等行为。 - DuckDB:内部统一以 UTF-8 存储所有字符串,并通过两种机制提供排序规则:
| 机制 | 说明 | 可组合性 |
|---|---|---|
| 内置排序规则 | NOCASE(应用 lower())、NOACCENT(去除变音符)、NFC(Unicode 规范化) |
可组合,如 NOCASE.NOACCENT |
| ICU 区域排序规则 | 来自 ICU 扩展,每个 ICU locale 对应一个(如 de、en_us、fr、zh),走完整 UCA |
不可与内置排序规则组合 |
此外,DuckDB 还注册了 icu_noaccent,其 ICU tag 为 und-u-ks-level1-kc-true(主强度 + case level),可借助完整 UCA 算法实现重音不敏感、大小写不敏感的比较。
当前映射实现
映射逻辑实现在 storage/duckdb/common/duckdb_charset_collation.cc 的 get_duckdb_collation() 函数中,并在两处落地:
- DDL 转换(storage/duckdb/convertor/ddl_convertor.cc)——创建 / 修改表时,VARCHAR 列会依据列的
CHARSET_INFO追加COLLATE <collation>。 - 会话上下文(storage/duckdb/runtime/duckdb_context.cc)——每个 DuckDB 连接的
default_collation由 MariaDB 会话的collation_connection推导而来。
DDL 转换路径
在 FieldConvertor 中,字符串类型的列(varchar)且携带字符集信息时,会调用 get_duckdb_collation() 并在类型后追加 COLLATE <collation>:
/* Append DuckDB collation for varchar columns */
if (ret == "varchar" && field->has_charset())
{
std::string warn_msg;
std::string co= myduck::get_duckdb_collation(field->charset(), warn_msg);
ret.append(" COLLATE ").append(co);
}
这样在 DuckDB 侧生成的 CREATE TABLE 语句中,每个 VARCHAR 列都会带上换算后的排序规则;DDL 转换是逐列级别的映射。
会话上下文路径
DuckdbThdContext::config_duckdb_session() 会按需为 DuckDB 会话推送配置 SQL。排序规则相关逻辑如下:
/* Collation: force_no_collation overrides to binary (POSIX) */
std::string collation;
if (get_thd_force_no_collation(thd))
collation= COLLATION_BINARY;
else
collation=
get_duckdb_collation(thd->variables.collation_connection, warn_msg);
if (collation != m_collation)
{
config_sql.push_back("SET default_collation = '" + collation + "'");
if (!m_collation.empty())
push_duckdb_warning(thd, warn_msg);
m_collation= collation;
}
要点:
- 会话级排序规则取自已编译的 DuckDB 会话变量
duckdb_force_no_collation(定义于 storage/duckdb/ha_duckdb.cc,类型为MYSQL_THDVAR_BOOL)。当该变量为真时,直接强制使用POSIX(二进制比较),覆盖掉会话排序规则; - 否则根据
thd->variables.collation_connection推导 DuckDB 的default_collation; - 仅当换算结果与已缓存的
m_collation不一致时才推送SET default_collation = '...';若排序规则是显式变更(非初始建立),还会通过push_duckdb_warning附带警告。
支持的字符集
只有 utf8mb3、utf8mb4 和 ascii 三个字符集会被映射到具备语义的 DuckDB 排序规则。其余字符集(如 latin1、cp1251)一律回退到 POSIX(二进制比较),因为 DuckDB 无法复刻这些字符集基于字节级的排序规则。这一点在 get_duckdb_collation() 的入口处即有显式判断:
if (strcmp(cs->cs_name.str, "utf8mb3") &&
strcmp(cs->cs_name.str, "utf8mb4") && strcmp(cs->cs_name.str, "ascii"))
{
return COLLATION_BINARY;
}
判定逻辑与标志位
映射完全基于 CHARSET_INFO 的标志位——MY_CS_BINSORT、MY_CS_LOWER_SORT 以及 levels_for_order 位掩码——而非字符集名称,因此理论上对任意字符集都能工作:
/* _bin Collation */
if (cs->state & MY_CS_BINSORT)
return COLLATION_BINARY;
/* utf8mb3_tolower_ci is _as_ci actually */
if (cs->state & MY_CS_LOWER_SORT)
return COLLATION_NOCASE;
/* levels_for_order 位掩码:
bit 0(primary) - 恒置位
bit 1(secondary)- 重音敏感度
bit 2(tertiary) - 大小写敏感度 */
bool accent_sensitive= cs->levels_for_order & (1 << MY_CS_LEVEL_BIT_SECONDARY);
bool case_sensitive= cs->levels_for_order & (1 << MY_CS_LEVEL_BIT_TERTIARY);
/* _ai_ci Collation(如 utf8mb4_0900_ai_ci、latin1_swedish_ci) */
if (!case_sensitive && !accent_sensitive)
return COLLATION_NOCASE_NOACCENT;
/* _as_ci Collation(如 utf8mb4_0900_as_ci) */
if (!case_sensitive)
return COLLATION_NOCASE;
/* _as_cs / _ai_cs Collation */
return COLLATION_BINARY;
实现注释还特别指出:utf8mb3_tolower_ci 实际是 _as_ci 语义,因此走 MY_CS_LOWER_SORT 分支映射为 NOCASE。
映射总表
| MariaDB 排序规则类型 | levels_for_order 位 |
DuckDB 排序规则 | 示例 MariaDB 排序规则 |
|---|---|---|---|
_bin |
(binsort 标志) | POSIX |
utf8mb4_bin |
_ai_ci |
仅 primary | NOCASE.NOACCENT |
utf8mb4_general_ci、utf8mb4_0900_ai_ci |
_as_ci |
primary + secondary | NOCASE |
utf8mb4_0900_as_ci |
_as_cs |
primary + secondary + tertiary | POSIX |
utf8mb4_0900_as_cs |
_tolower_ci |
(lower_sort 标志) | NOCASE |
utf8mb3_tolower_ci |
| 非 UTF-8 字符集 | — | POSIX |
latin1_swedish_ci |
常量定义
常量定义于 storage/duckdb/common/duckdb_charset_collation.h:
static const std::string COLLATION_BINARY= "POSIX";
static const std::string COLLATION_NOCASE= "NOCASE";
static const std::string COLLATION_NOCASE_NOACCENT= "NOCASE.NOACCENT";
选择 POSIX 而非 binary 的原因:binary 是 DuckDB 的保留关键字,不能直接用作排序规则名称;而 DuckDB 对 POSIX 的处理与 binary 一致。
测试验证:行为一致性如何保证
仓库中的 MTR(mysql-test)用例直接验证了这套映射的正确性:
-
storage/duckdb/mysql-test/duckdb/t/charset_and_collation.test 与其 结果文件 采用"DUCKDB 表 + InnoDB 表"双表对照:在
SET NAMES ... COLLATE ...切换各排序规则后,对比SELECT 'a'='á' AS ai, 'a'='A' AS ci, 'A'='á' AS ai_ci在两种引擎下的结果。例如:utf8mb4_0900_ai_ci下两者均返回1 1 1(重音、大小写均不敏感);utf8mb4_0900_as_ci下两者均返回0 1 0(重音敏感、大小写不敏感);utf8mb4_0900_as_cs、utf8mb4_bin下两者均返回0 0 0。
测试同时覆盖了列级
COLLATE定义、ALTER TABLE修改列排序规则以及latin1等非 UTF-8 字符集落到POSIX的场景。 -
storage/duckdb/mysql-test/duckdb/t/duckdb_collate.test 验证了会话隔离与强制关闭排序规则的开关:
default_collation的修改作用域仅为当前连接(con1 不受 default 连接SET collation_connection影响);SET duckdb_force_no_collation = true后比较、min()、ORDER BY均按二进制处理。
已知缺口(Known Gaps)
1. 内置 NOCASE 与 UCA 大小写折叠不一致
DuckDB 的 NOCASE 通过 lower() 实现简单的 Unicode 大小写折叠;而 MariaDB 的 UCA 系列 _ci 排序规则使用权重表处理复杂大小写场景。典型差异:
- 德语中
ß与ss的等价关系; - 土耳其语中
İ与I并不等价。
这意味着对非 ASCII 字符,两种引擎的比较结果可能不同。
2. 内置 NOACCENT 与 UCA 重音处理的差异
DuckDB 的 NOACCENT 使用 strip_accents() 移除组合变音符号;MariaDB 的 _ai 排序规则使用 UCA 主权重,字符分组方式可能不同(例如 æ 这类连字)。
3. 没有 _as_cs 的 UCA 等价物
MariaDB 的 _as_cs 排序规则使用完整 UCA 第三级权重排序;而 DuckDB 侧的 POSIX(二进制)虽然保留了大小写与重音敏感,但排序顺序基于 UTF-8 字节值而非 UCA 权重。这会影响 ORDER BY 的结果顺序。
4. 非 UTF-8 字符集丢失排序语义
除 utf8mb3/utf8mb4/ascii 外的字符集一律映射为二进制比较。MariaDB 中 latin1_swedish_ci 的排序行为(如 ä = a、ö = o)在 DuckDB 侧完全丢失。
可能的改进方向
方案一:借助 ICU 区域排序规则提升 UCA 保真度
DuckDB 的 ICU 扩展为所有可用 ICU locale 注册了排序规则。与 MariaDB 各排序规则行为相对应的 ICU tag 如下:
| UCA 行为 | ICU tag | DuckDB 排序规则 |
|---|---|---|
重音不敏感、大小写不敏感(_ai_ci) |
und-u-ks-level1-kc-true |
icu_noaccent(已注册) |
重音敏感、大小写不敏感(_as_ci) |
und-u-ks-level2 |
尚未注册 |
重音敏感、大小写敏感(_as_cs) |
und-u-ks-level3 |
尚未注册 |
将 und-u-ks-level2 与 und-u-ks-level3 注册为自定义 DuckDB 排序规则并映射到它们,能在 UTF-8 排序规则上获得更接近 UCA 的等价行为。
方案二:注册 MariaDB 命名的排序规则
另一种思路是直接注册以 MariaDB 名称命名(如 utf8mb4_0900_ai_ci)的排序规则,内部委托给对应的 ICU collator。这样 DDL 转换器可以直接输出原始排序规则名称,完全避免翻译环节。
结语
排序规则映射是 MariaDB DuckDB 存储引擎在"跨引擎行为一致性"上的一处精细设计:它只关注 NOCASE 与 NOACCENT 两种行为,通过 CHARSET_INFO 标志位完成通用判定,并以 POSIX 兜底保证任何情况下都有确定性的比较语义。理解这套映射的边界与缺口,有助于在实际业务中预判 ENGINE=DUCKDB 表上的字符串比较、去重与排序行为,并为需要更高 UCA 保真度的场景(如借助 und-u-ks-level2/und-u-ks-level3 扩展排序规则)做好技术储备。