GRDB.swift 中实现 FTS5 自定义分词器的正确方式

前言

在使用 GRDB.swift 进行全文搜索功能开发时，很多开发者会遇到需要实现自定义分词器的需求。本文将详细介绍如何在 GRDB.swift 中正确实现 FTS5 自定义分词器，并解决常见的初始化问题和崩溃问题。

FTS5 自定义分词器基础

FTS5 是 SQLite 的全文搜索扩展模块，允许开发者自定义分词逻辑。在 GRDB.swift 中，我们可以通过实现 FTS5CustomTokenizer 协议来创建自定义分词器。

常见问题分析

1. 初始化参数问题

当实现自定义分词器时，最常见的错误是 "FTS5TokenizerDescriptor requires at least one component"。这个错误通常发生在分词器初始化时没有正确处理参数的情况下。

2. 内存访问崩溃

另一个常见问题是 EXC_BAD_ACCESS 崩溃，这通常与内存管理或线程安全问题有关，但实际可能源于不正确的初始化方式。

正确实现方式

以下是实现 FTS5 自定义分词器的推荐方式：

final class CustomTokenizer: FTS5CustomTokenizer {
    static var name: String = "custom_tokenizer"
    var wrappedTokenizer: any FTS5Tokenizer
    
    init(db: Database, arguments: [String] = []) throws {
        if arguments.isEmpty {
            // 提供默认分词器
            wrappedTokenizer = try db.makeTokenizer(.porter())
        } else {
            // 使用传入的参数创建分词器
            wrappedTokenizer = try db.makeTokenizer(FTS5TokenizerDescriptor(components: arguments))
        }
    }
    
    func tokenize(
        context: UnsafeMutableRawPointer?,
        tokenization: FTS5Tokenization,
        pText: UnsafePointer<CChar>?,
        nText: CInt,
        tokenCallback: FTS5TokenCallback
    ) -> CInt {
        // 实现自定义分词逻辑
        return 0
    }
}

关键点说明

1. 参数处理：必须正确处理初始化参数，当参数为空时提供默认分词器配置。

2. wrappedTokenizer：这个属性应该持有一个有效的分词器实例，不能为空。

3. tokenize方法：这是实现自定义分词逻辑的核心方法，需要正确处理输入文本并调用回调函数。

数据库配置

在配置数据库时，需要正确添加自定义分词器：

var config = Configuration()
config.prepareDatabase { db in
    db.add(tokenizer: CustomTokenizer.self)
}

创建虚拟表

创建支持自定义分词器的虚拟表时，需要指定分词器：

try db.create(virtualTable: "documents_FTS", using: FTS5()) { table in
    table.tokenizer = CustomTokenizer.tokenizerDescriptor()
    table.column("content")
}

总结

实现 GRDB.swift 的 FTS5 自定义分词器时，关键在于正确处理初始化参数和确保 wrappedTokenizer 的有效性。通过遵循上述模式，可以避免常见的初始化错误和崩溃问题，实现稳定可靠的全文搜索功能。

对于更复杂的分词需求，可以在 tokenize 方法中实现自己的分词算法，或者将文本传递给外部分词引擎进行处理。