Sqflite 中处理非ASCII字符的LIKE查询问题

在移动应用开发中，使用SQLite数据库进行本地数据存储是非常常见的场景。Flutter开发者通常会使用sqflite插件来操作SQLite数据库。然而，在处理包含非ASCII字符(如法语、德语等特殊字符)的LIKE查询时，开发者可能会遇到一些棘手的问题。

问题现象

当执行包含非ASCII字符的LIKE查询时，例如搜索法语单词"SOCIÉTÉ"，即使数据库中确实存在匹配记录，查询也可能返回空结果。这个问题尤其出现在以下情况：

1. 查询中包含重音字符(如é, è, ê等)
2. 尝试使用LOWER()函数进行大小写不敏感匹配
3. 使用不同的COLLATE排序规则

问题根源

这个问题的根本原因在于SQLite在不同平台上的实现差异。sqflite插件依赖于各平台原生提供的SQLite实现，而这些实现在处理非ASCII字符的LIKE查询时行为可能不一致。特别是：

1. 默认的COLLATE NOCASE规则对非ASCII字符的支持不完善
2. 不同平台(Android/iOS)的SQLite版本可能对Unicode字符的处理方式不同
3. 字符大小写转换规则在非ASCII字符上表现不一致

解决方案

1. 使用参数化查询

首先确保使用正确的参数化查询方式，这是基础但重要的第一步：

await db.query(
  'books',
  columns: ['value'],
  where: 'value LIKE ?',
  whereArgs: ['%Société%']
);

或者使用rawQuery：

await db.rawQuery(
  'SELECT name FROM books WHERE name LIKE ?',
  ['%Société%']
);

2. 创建规范化辅助列

最可靠的解决方案是在数据表中添加一个辅助列，存储经过规范化的文本：

// 添加数据时同时存储规范化版本
await db.insert('books', {
  'value': 'SOCIÉTÉ',
  'value_normalized': normalizeText('SOCIÉTÉ')
});

// 查询时使用规范化列
await db.query(
  'books',
  columns: ['value'],
  where: 'value_normalized LIKE ?',
  whereArgs: ['%societe%']
);

其中normalizeText函数需要实现：

1. 转换为小写
2. 去除变音符号(é → e, ü → u等)
3. 其他必要的字符替换

3. 考虑使用sqflite_common_ffi

对于需要更一致行为的高级用例，可以考虑使用sqflite_common_ffi配合sqlite3_flutter_libs，这能提供更统一的SQLite实现。

最佳实践建议

1. 对于需要支持多语言的应用程序，在设计数据库时就考虑非ASCII字符的搜索需求
2. 在数据插入时进行规范化处理，而不是在查询时
3. 为需要搜索的列建立规范化版本并创建索引
4. 对用户输入的搜索词也进行相同的规范化处理
5. 考虑使用专门的全文搜索解决方案如FTS3/FTS4扩展，如果搜索需求复杂

通过以上方法，开发者可以有效地解决sqflite中非ASCII字符的LIKE查询问题，为用户提供更好的搜索体验。