Chumsky 解析器中的 skip_until 恢复机制解析

概述

在 Chumsky 解析器库的使用过程中，开发者 mnbjhu 发现了一个关于 skip_until 恢复策略的有趣行为。这个发现揭示了在错误恢复处理中一个值得注意的细节，对于使用 Chumsky 进行复杂文本解析的开发者具有实际指导意义。

skip_until 的基本行为

skip_until 是 Chumsky 提供的一种错误恢复策略，它允许解析器在遇到错误时跳过输入，直到满足某个条件。其基本形式是：

skip_until(skip_parser, until_parser, fallback_fn)

按照直觉理解，这个策略应该：

1. 持续使用 skip_parser 跳过输入
2. 当 until_parser 成功匹配时停止
3. 不消耗 until_parser 匹配的内容
4. 返回一个错误值（通过 fallback_fn 生成）

发现的问题

在实际使用中，开发者发现 skip_until 会消耗 until_parser 匹配的内容，这与预期行为不符。具体表现为：

stmt_parser()
    .recover_with(skip_until(
        none_of([Token::Newline]).ignored(),
        just(Token::Newline).ignored(),
        || Statement::Error,
    ))
    .separated_by(just(Token::Newline))
    .collect()

当解析类似以下的输入时：

=
let some = "thing"

解析器会消耗等号和换行符，导致后续的 separated_by 失败，因为换行符已经被消耗了。

解决方案探讨

仓库所有者 zesterer 指出，这种行为实际上是设计上的选择，特别是在处理类似 C 语言这样以分号分隔语句的场景时很有用——当语句出错时，可以直接跳到下一个分号后继续解析。

对于不需要消耗终止标记的情况，推荐使用更灵活的 via_parser 恢复策略：

.recovery_with(via_parser(any().and_is(end.not()).repeated()))

其中 end 是你想要跳过但不消耗的终止模式。

技术实现分析

查看 SkipUntil 的实现可以发现，问题的关键在于恢复逻辑中没有回滚 until_parser 的匹配：

fn recover<M: Mode, P: Parser<'a, I, O, E>>(
    &self,
    inp: &mut InputRef<'a, '_, I, E>,
    _parser: &P,
) -> PResult<M, O> {
    // ...
    if let Ok(()) = self.until.go::<Check>(inp) {
        inp.rewind(before); // 添加这行可以修复问题
        // ...
    }
    // ...
}

最佳实践建议

1. 明确需求：如果需要保留终止标记（如换行符），避免使用 skip_until
2. 灵活选择：考虑使用 via_parser 配合 and_is 和 not 实现更精确的控制
3. 版本注意：确保使用最新版本的 Chumsky 以获得最完整的恢复策略支持

总结

Chumsky 的 skip_until 恢复策略设计用于特定场景，理解其行为特点对于构建健壮的解析器至关重要。开发者应当根据具体需求选择合适的恢复策略，via_parser 提供了更灵活的替代方案。这一案例也展示了错误恢复处理在解析器设计中的微妙之处，值得开发者深入理解。