Gazelle解析系统：构建形式化语言解析器的强大工具

2025-06-19 06:02:16作者：董灵辛Dennis

概述

Gazelle是一个用于解析形式化语言的系统。形式化语言指那些具有正式定义、无歧义语法的语言，包括但不限于：

编程语言（C、C++、Java等）
数据语言（XML、JSON、YAML等）
基于文本的协议（HTTP、SMTP、IMAP等）
配置文件
日志文件

Gazelle采用多范式方法设计，在基于上下文无关文法的同时，还支持多种高级特性，使其能够处理现实世界中各种语言的独特特性。

核心特性

1. 多范式解析支持

Gazelle不仅支持基本的上下文无关文法，还提供了一系列增强功能：

重复操作符：?（可选）、*（零次或多次）、+（一次或多次）
歧义解决操作符：/（优先级选择）和贪婪/非贪婪重复
计划中的运算符优先级解析（用于定义中缀表达式）
计划中的Lua脚本支持（作为"逃生舱口"处理特殊语法情况）

2. 语法重用性

Gazelle特别强调语法的可重用性。一旦为某种语言编写了语法，就可以在任何支持Gazelle的宿主语言中不加修改地使用，从编译器到文本编辑器的语法高亮组件等各种应用场景。

快速入门

Hello World示例

让我们从一个简单示例开始：解析由任意数量平衡括号包围的整数。

hello -> "(" hello ")" | .digits=/[0-9]+/;

这个语法定义了一个名为"hello"的规则，它可以递归地匹配括号包围的"hello"，或者匹配一个或多个数字。

有效输入示例：

(5)
(((((((((((100)))))))))))
0

无效输入示例：

(()
)(
0)

编译语法

使用gzlc工具将文本语法编译为字节码：

$ gzlc hello.gzl

编译成功后，会生成.gzc字节码文件。

解析输入

创建测试文件后，使用gzlparse进行解析：

$ echo -n '((((500))))' > hello_text
$ gzlparse hello.gzc hello_text

成功解析不会产生输出，错误则会显示错误信息。

查看解析树

使用--dump-json和--dump-total选项可以查看详细解析信息：

$ gzlparse --dump-json --dump-total hello.gzc hello_text

语法可视化

使用-d选项生成HTML格式的语法可视化：

$ gzlc -d hello.gzl

生成的HTML文件展示了规则的状态机转换图，有助于验证语法是否符合预期。

进阶语法编写

规则基础

规则是语法的核心，描述语言中的各种结构模式。例如，赋值语句可以定义为：

assign -> ident "=" expr;

选择（Alternation）

使用|表示选择：

boolexpr -> "true" | "false";

重复操作

Gazelle提供多种重复操作符：

?：0或1次
*：0次或多次
+：1次或多次
*(sep)：0次或多次，用sep分隔
+(sep)：1次或多次，用sep分隔

示例（JSON对象定义）：

object -> "{" (string ":" value) *(",") "}";

重要限制：重复操作符不能嵌套在单个规则中。如果遇到需要嵌套的情况，应将内部重复提取为单独规则。

组件类型

规则右侧可以包含四种基本组件：

非终结符（由其他规则定义）
字符串字面量
正则表达式
命名正则表达式

组件命名

所有规则组件必须有唯一名称。命名语法：

rule -> .name=other_rule;
rule -> .name="string";
rule -> .name=/regex/;

字符串和非终结符有默认名称，但正则表达式必须显式命名。

实际应用示例：CSV解析器

下面是一个解析CSV文件的完整语法示例：

// CSV行是由逗号分隔的多个值，以换行符结束
csv_line -> csv_value *(,);

// CSV值可以是数字或引号包围的字符串
csv_value -> .number=/[0-9]+/ | '"' string_fragment* '"';

// 字符串内部可以是普通字符或转义字符
string_fragment -> .chars=/[^\\"]+/ | .escaped_char=/\\./;

这个示例展示了Gazelle如何处理上下文相关的词法分析：在引号内外，相同的字符可能有不同的解释。