Hyperscan 模式编译完全指南:从数据库构建到逻辑组合的编译期技术全景
Hyperscan 模式编译完全指南:从数据库构建到逻辑组合的编译期技术全景
导读
Hyperscan 是一套高性能正则表达式匹配库,其核心价值在于把正则表达式预先编译成经过高度优化的模式数据库(pattern database),运行时再以极低成本扫描数据。本文基于 doc/dev-reference/compilation.rst 开发者参考文档,系统讲解 Hyperscan 的编译期技术体系:三个编译 API 与流式/块式/向量式三种扫描模式、v5.2.0 新增的纯字面量编译 API、PCRE 语法支持边界与匹配语义差异、起始偏移(SOM)、扩展参数、预过滤、指令集特化、近似匹配与逻辑组合。读完本文,你将掌握如何为不同场景选择合适的编译入口与模式标志,并能结合源码理解每个参数对数据库形态与运行时行为的真实影响。
构建数据库:三个编译入口与三种扫描模式
Hyperscan 的编译 API 接收正则表达式并将其转换为可供运行时扫描的编译模式数据库。编译阶段会做大量静态分析——预判如何以最优方式扫描这些模式——这些分析若放到运行时去做将极其昂贵。编译入口一共有三个,全部声明在 src/hs_compile.h,实现在 src/hs.cpp:
hs_compile:编译单个表达式为模式数据库。这是最基础的入口,examples/simplegrep.c 中的用法是hs_compile(pattern, HS_FLAG_DOTALL, HS_MODE_BLOCK, NULL, &database, &compile_err)。hs_compile_multi:将一组表达式编译进同一个数据库,扫描时所有模式被并发匹配,命中时回调返回用户提供的标识符(id)。hs_compile_ext_multi:同hs_compile_multi,但允许为每个表达式单独指定扩展参数(extended parameters)。
从实现上看,hs_compile 与 hs_compile_ext_multi 最终都收敛到内部函数 hs_compile_multi_int(src/hs.cpp),只是元素个数(elements)为 1。该内部函数依次完成参数校验(表达式、数据库、错误指针非空,elements 非零)、架构检查(FAT runtime 下要求 SSSE3)、模式检查(checkMode)、平台检查(checkPlatform)与模式数量上限检查(g.limitPatternCount,超出报 "Number of patterns too large"),随后通过 NG ng(cc, elements, somPrecision) 构建 NFA 图并最终调用 build 产出数据库。
编译时必须决定数据库将用于流式、块式还是向量式扫描,这是由 mode 参数(unsigned)决定的:
| 模式标志 | 值 | 适用场景与内存特征 |
|---|---|---|
HS_MODE_STREAM |
2 |
目标数据是连续流,并非一次全部可得;数据块按顺序被扫描,匹配可能跨多个数据块。每个流在两次扫描调用之间需要一块内存保存状态 |
HS_MODE_BLOCK |
1 |
目标数据是离散、连续的数据块,一次调用即可扫描完成,无需保留状态。HS_MODE_NOSTREAM 是它的别名 |
HS_MODE_VECTORED |
4 |
目标数据是一组非连续的数据块,但一次性全部可得;与块式一样无需保留状态 |
一个数据库只能在其编译时的模式下使用。此外,编译数据库所用的 Hyperscan 版本必须与扫描它的版本一致。hs_compile_multi_int 内部正是通过 bool isStreaming = mode & (HS_MODE_STREAM \| HS_MODE_VECTORED) 与 bool isVectored = mode & HS_MODE_VECTORED 来判定运行形态的。Hyperscan 还支持将数据库定向到特定 CPU 平台(见后文"指令集特化"一节)。
单元测试 unit/hyperscan/literals.cpp 中 test_modes[] = {HS_MODE_BLOCK, HS_MODE_STREAM, ...} 展示了同一组模式在三种模式下编译并分别以 do_scan_block / do_scan_stream / do_scan_vectored 扫描验证的典型做法。
纯字面量编译:hs_compile_lit 与 hs_compile_lit_multi
什么是纯字面量
纯字面量(pure literal) 是正则表达式的一种特例:一个字符序列中每个字符都被独立读取与解读,相邻字符之间不发生任何语法关联。以 /bc?/ 为例:按正则语义,它是字符 b 后跟零个或一个字符 c;按纯字面量语义,它是一个 3 字节的字符序列 b、c、?。正则语法中 ? 是"0-1 量词",与前面的字符产生语法关联;类似的元字符还有 [、]、(、)、{、}、-、*、+、\、|、/、:、^、.、$。而纯字面量场景下,这些元字符都只是普通 ASCII 码,不携带任何额外含义。
Hyperscan 天生面向正则表达式,内置了复杂的解析器做全面的正则语法解释,识别上述元字符正是解释更复杂正则语法的基础步骤。但现实中的模式未必都是正则——如果纯字面量恰好包含正则元字符,直接喂给传统编译 API,所有元字符都会被按预定规则解释,产生完全超出预期的结果。以往用户必须预处理:给元字符加反斜杠转义,或把所有字符转成十六进制表示。
v5.2.0 新增的两个 API
在 v5.2.0 中,Hyperscan 为纯字面量模式引入了两个新编译 API:
hs_compile_lit:编译单个纯字面量为模式数据库。hs_compile_lit_multi:编译一组纯字面量为模式数据库,扫描时并发匹配,命中时返回用户标识符。
这两个 API 面向"目标规则集内全部是纯字面量"的使用场景,用户可直接把字面量原文传入,无需再担心元字符转义,省去全部预处理工作。其内部实现集中在 src/hs.cpp 的 hs_compile_lit_multi_int:除了与传统编译相同的校验流程外,还会逐元素校验表达式指针非空、长度非零、长度不超过 MAX_PATTERN_LENGTH,然后调用 addLitExpression(src/compiler/compiler.cpp)把字面量直接以 ue2_literal 形式喂给 Rose 引擎,绕过常规的 NFA 图构建。
新 API 的关键差异在于 length 参数:每个字面量模式新增了显式长度参数,Hyperscan 需要靠它定位输入表达式的结尾,而不是像传统 API 那样靠识别字符串中的 \0 结束符。这使字面量内容中可以安全携带嵌入的 \0 字节(只要传入正确的 lens[i])。
支持的标志与限制
纯字面量 API 支持的标志仅三个:
HS_FLAG_CASELESS(忽略大小写)HS_FLAG_SINGLEMATCH(每条流只报告一次匹配)HS_FLAG_SOM_LEFTMOST(报告最左起始偏移)
在 src/compiler/compiler.cpp 的 addLitExpression 中,实现会显式过滤掉 HS_FLAG_DOTALL、HS_FLAG_ALLOWEMPTY、HS_FLAG_UTF8、HS_FLAG_UCP、HS_FLAG_PREFILTER、HS_FLAG_COMBINATION、HS_FLAG_QUIET、HS_FLAG_MULTILINE,否则抛出 "Only HS_FLAG_CASELESS, HS_FLAG_SINGLEMATCH and HS_FLAG_SOM_LEFTMOST are supported in literal API" 编译错误。同样的实现逻辑也拒绝了扩展参数:只要 ext && ext->flags != 0LLU 即报 "Extended parameters are not supported for pure literal matching API"。
还需注意两点:
- 纯字面量 API 不支持
extparam;但运行时仍可沿用传统运行时 API 去匹配纯字面量模式。 - 如果目标规则集中至少包含一个正则表达式,请继续使用传统编译 API(
hs_compile、hs_compile_multi、hs_compile_ext_multi)——新字面量 API 专为"只含纯字面量表达式"的规则集设计。
模式语法支持:与 PCRE 的兼容边界
Hyperscan 支持 libpcre("PCRE")库所使用的模式语法,但并非所有 PCRE 构造都受支持,使用不支持的构造会导致编译错误。Hyperscan 用于校验其语法解释的 PCRE 版本为 8.41 及以上。
支持的构造
以下正则构造受 Hyperscan 支持:
- 字面字符与字符串:含全部 libpcre 的引号与字符转义。
- 字符类:
.(点号)、[abc]、[^abc],以及预定义字符类\s、\d、\w、\v、\h及其否定形式\S、\D、\W、\V、\H。 - POSIX 命名字符类:
[[:xxx:]]及否定形式[[:^xxx:]]。 - Unicode 字符属性:如
\p{L}、\P{Sc}、\p{Greek}。 - 量词:
?、*、+可应用于任意受支持的子表达式。- 有界重复限定符
{n}、{m,n}、{n,}受支持但有限制:- 对任意重复子模式,n 和 m 应较小或无限,如
(a|b){4}、(ab?c?d){4,10}、(ab(cd)*){6,}。 - 对单字符宽度子模式(如
[^\a]、.、x),几乎支持所有重复次数,除非重复极大(上界超过 32767)。大范围有界重复会占用很大的流状态,例如a.{2000}b;这类子模式若位于模式开头或结尾会便宜得多,若该模式同时开启HS_FLAG_SINGLEMATCH效果更佳。
- 对任意重复子模式,n 和 m 应较小或无限,如
- 懒惰修饰符(量词后追加
?,如\w+?)受支持但被忽略——因为 Hyperscan 报告所有匹配,贪婪与非贪婪对它无差别。
- 括号:命名/未命名的捕获与非捕获形式均支持,但捕获被忽略。
- 交替:
|符号,如foo|bar。 - 锚点:
^、$、\A、\Z、\z。 - 选项修饰符:以
(?<option>)开启、(?-<option>)关闭,作用于子模式:i:大小写不敏感匹配,等价于HS_FLAG_CASELESS。m:多行匹配,等价于HS_FLAG_MULTILINE。s:将.解释为"任意字符",等价于HS_FLAG_DOTALL。x:扩展语法,忽略模式中大部分空白,兼容 libpcre 的PCRE_EXTENDED。- 例如
foo(?i)bar(?-i)baz只对bar部分启用大小写不敏感匹配。
- 零宽断言
\b与\B(词边界与"非词边界")。 - 注释:
(?# comment)语法。 - 控制动词:模式开头的
(*UTF8)与(*UCP),用于启用 UTF-8 与 UCP 模式。
有界重复还有一个重要限制:对任意表达式使用大重复次数(如 ([a-z]|bc*d|xy?z){1000,5000})会在编译期报 "Pattern too large" 错误。
不支持的构造
以下构造 Hyperscan 不支持,使用即编译失败:
- 反向引用与捕获子表达式。
- 任意零宽断言。
- 子程序引用与递归模式。
- 条件模式(conditional patterns)。
- 回溯控制动词。
\C"单字节"指令(会破坏 UTF-8 序列)。\R换行匹配。\K重置匹配起点指令。- Callout 与嵌入式代码。
- 原子组与占有量词。
匹配语义:与 libpcre 的四大差异
Hyperscan 遵循 libpcre 语法,但提供不同的语义。主要差异均由流式匹配与多模式并发匹配的需求驱动,共有四点:
- 多模式匹配:Hyperscan 允许同时为多个模式报告匹配。这不等同于在 libpcre 中把这些模式用
|连起来——后者按从左到右的顺序求值交替分支。 - 缺乏排序:Hyperscan 产生的多次匹配不保证有序,但它们总落在当前扫描的边界内。
- 仅报告结束偏移:Hyperscan 默认只在匹配回调中报告匹配的结束偏移;可通过编译期逐表达式的标志开启起始偏移报告(见下节 SOM)。
- 报告所有匹配:用
/foo.*bar/扫描fooxyzbarbar,Hyperscan 会返回两个匹配——分别在fooxyzbar和fooxyzbarbar的结尾处。而 libpcre 默认(贪婪语义)只报告fooxyzbarbar一个匹配;若切换为非贪婪语义,则只报告fooxyzbar。这意味着在 Hyperscan 中切换贪婪/非贪婪语义是无效操作(no-op)。
为什么流式模式下无法保持贪婪语义
要在流式匹配发生时准确报告匹配,同时保持 libpcre 的量词语义是不可能的。以模式 /foo.*bar/ 在流式模式下扫描如下三块数据为例:
| block 1 | block 2 | block 3 |
|---|---|---|
fooxyzbar |
baz |
qbar |
模式中的 .* 在 libpcre 中是一个贪婪重复,必须尽可能多地匹配而不导致模式其余部分失败。但在流式模式下,这要求掌握当前扫描块之后的流数据。本例中第一块 offset 9 处的匹配,只有在后续块(如 block 3)中不再出现 bar(那会是更好的匹配)时,才是 libpcre 语义下的正确匹配——而流式扫描时无法预知这一点。这就是 Hyperscan 选择"报告所有匹配"的根本原因。
起始偏移:Start of Match(SOM)
标准操作下,Hyperscan 在匹配回调中只提供匹配的结束偏移。若为某模式指定 HS_FLAG_SOM_LEFTMOST 标志,则返回相同的匹配集合,但每个匹配还会附带与其结束偏移对应的最左可能起始偏移。
使用 SOM 标志带来一系列权衡与限制:
- 模式支持减少:对许多模式跟踪 SOM 很复杂,可能导致编译失败并报 "Pattern too large",即便该模式在常规操作下受支持。
- 流状态增加:扫描时需状态空间跟踪潜在的 SOM 偏移,流式模式下必须存储在持久流状态中,因此 SOM 通常会增大匹配所需流状态。
- 性能开销:跟踪 SOM 通常伴随性能代价。
- 特性不兼容:
HS_FLAG_SINGLEMATCH和HS_FLAG_PREFILTER不能与 SOM 组合使用,同时指定会编译报错。此外,SOM 支持的模式是 Hyperscan 可编译模式的一个子集——许多不带 SOM 标志可编译的有界重复形式,开启标志后无法编译。
流式模式下,SOM 提供的精度可用 SOM horizon 标志控制。这些标志指示 Hyperscan 在距结束偏移一定距离内提供准确的 SOM 信息,超出则返回特殊起始偏移 HS_OFFSET_PAST_HORIZON。三个标志在 src/hs_compile.h 中定义:
| 标志 | 值 | 精度 |
|---|---|---|
HS_MODE_SOM_HORIZON_LARGE |
1U << 24 |
全精度跟踪起始偏移,无论多远都返回准确值,但流状态占用最大 |
HS_MODE_SOM_HORIZON_MEDIUM |
1U << 25 |
限制起始偏移精度到距报告结束偏移 2^32 字节内,流状态更少 |
HS_MODE_SOM_HORIZON_SMALL |
1U << 26 |
限制精度到距结束偏移 2^16 字节内,流状态最少 |
指定较小或中等的 SOM horizon 通常会减少数据库所需流状态。使用小/中 horizon 时,匹配返回的起始偏移可能指向当前扫描块之前的流位置——Hyperscan 不提供访问早期块的设施,应用若要检查历史数据必须自行保存。另需注意:要使用 HS_FLAG_SOM_LEFTMOST 表达式标志,必须先选择一个 SOM_HORIZON 模式;src/compiler/compiler.cpp 中会抛出 "To use a SOM expression flag in streaming mode, an SOM precision mode (e.g. HS_MODE_SOM_HORIZON_LARGE) must be specified." 的编译错误。
扩展参数:hs_expr_ext_t 与 hs_compile_ext_multi
有些场景需要在正则语法之外,对模式的匹配行为做更精细的控制。Hyperscan 为此提供 hs_compile_ext_multi,允许按模式设置一组"扩展参数",定义于 hs_expr_ext_t 结构(src/hs_compile.h):
| 字段 | 类型 | 用途 | 对应启用标志 |
|---|---|---|---|
flags |
unsigned long long |
指明结构体中哪些字段被使用 | — |
min_offset |
unsigned long long |
该表达式在数据流中成功匹配的最小结束偏移 | HS_EXT_FLAG_MIN_OFFSET(1ULL) |
max_offset |
unsigned long long |
该表达式在数据流中成功匹配的最大结束偏移 | HS_EXT_FLAG_MAX_OFFSET(2ULL) |
min_length |
unsigned long long |
成功匹配所需的最小匹配长度(从起点到终点) | HS_EXT_FLAG_MIN_LENGTH(4ULL) |
edit_distance |
unsigned |
在给定 Levenshtein 编辑距离内近似匹配 | HS_EXT_FLAG_EDIT_DISTANCE(8ULL) |
hamming_distance |
unsigned |
在给定 Hamming 距离内近似匹配 | HS_EXT_FLAG_HAMMING_DISTANCE(16ULL) |
这些参数要么在编译期约束模式产生的匹配集合(而非依赖应用在运行时丢弃多余匹配),要么允许在给定编辑距离内做近似匹配以产生更多匹配。
约束匹配范围的示例
模式 /foo.*bar/ 给定 min_offset 为 10、max_offset 为 15 时:扫描 foobar 或 foo0123456789bar 不会产生匹配(前者结束偏移为 6,后者为 16,均越界),但扫描 foo0123bar 或 foo0123456bar 会各产生一次匹配。
近似匹配示例
- 模式
/foobar/给定edit_distance为 2,扫描foobar、f00bar、fooba、fobr、fo_baz、foooobar以及任何处于编辑距离 2 内(按 Levenshtein 定义)的文本都会产生匹配。 - 同一模式给定
hamming_distance为 2,则扫描foobar、boofar、f00bar以及任何最多替换两个字符的文本都会产生匹配(Hamming 距离不允许插入与删除)。
预过滤模式:HS_FLAG_PREFILTER
Hyperscan 提供逐模式标志 HS_FLAG_PREFILTER,用于为 Hyperscan 常规情况下不支持的模式实现预过滤。该标志指示 Hyperscan 编译该模式的"近似"版本以供预过滤应用使用,即使 Hyperscan 常规操作不支持该模式。
使用此标志返回的匹配集合保证是非预过滤表达式所指定匹配集合的超集。若模式包含 Hyperscan 不支持的构造(如零宽断言、反向引用、条件引用),这些构造会被替换为更宽泛、可能匹配更多的构造。例如模式 /(\w+) again \1/ 含反向引用 \1,预过滤模式下可能被近似为把反向引用替换为它的所指对象,形成 /\w+ again \w+/。
此外,预过滤模式还可能简化那些否则会在编译期报 "Pattern too large" 错误的模式,或出于性能原因简化(均以上述超集保证为前提)。应用通常需要随后用能给出精确匹配的另一个正则匹配器确认预过滤命中的结果。
需要留意:HS_FLAG_PREFILTER 与 HS_FLAG_SOM_LEFTMOST 组合目前不受支持,同时指定会产生编译错误。
指令集特化:面向目标平台的数据库
Hyperscan 能利用 x86 处理器的多项现代指令集特性提升扫描性能。其中一些特性在库构建时选定——例如在处理器支持且库已针对宿主架构优化时使用原生 POPCNT 指令。默认情况下 Hyperscan 运行时以 -march=native 编译标志构建,并(在可行时)使用宿主 C 编译器已知的全部指令。
但某些指令集特性要求 Hyperscan 构建特化的数据库来支持,这意味着目标平台必须在模式编译时指定。所有编译 API 函数都接受一个可选的 hs_platform_info_t 参数,用于描述数据库的目标平台;若传 NULL,数据库将面向当前宿主平台。该结构(src/hs_compile.h)包含两个有效字段(另有 reserved1/reserved2 保留字段):
tune:描述目标平台的信息,用于指导编译的优化过程。使用该字段不会限制数据库可运行的处理器,但可能影响数据库的性能。预定义值见HS_TUNE_FAMILY_*系列,覆盖GENERIC(0)、SNB(1)、IVB(2)、HSW(3)、SLM(4)、BDW(5)、SKL(6)、SKX(7)、GLM(8)、ICL(9)、ICX(10)等微架构族(src/hs_compile.h)。cpu_features:以掩码指定目标平台可用的 CPU 特性。例如可指定HS_CPU_FEATURES_AVX2以启用 Intel AVX2 指令集支持(另有HS_CPU_FEATURES_AVX512、HS_CPU_FEATURES_AVX512VBMI,见 src/hs_compile.h)。一旦为某 CPU 特性指定标志,数据库在缺少该特性的 CPU 上将不可用。
面向当前宿主的 hs_platform_info_t 可用 hs_populate_platform 函数便捷构建。所有 CPU 调优与特性标志的完整列表见 doc/dev-reference/api_constants.rst。编译结果数据库会把平台信息写入 hs_database 的 platform 字段(src/compiler/compiler.cpp 通过 target_to_platform 将目标架构特性转换为 HS_PLATFORM_NOAVX2/HS_PLATFORM_NOAVX512 等掩码),运行时据此校验平台兼容性。
近似匹配:编辑距离与汉明距离
Hyperscan 提供实验性的近似匹配模式,可在给定编辑距离内匹配模式。其精确匹配行为定义如下:
- 编辑距离按 Levenshtein 距离定义,考虑三种编辑操作:插入、删除、替换。
- 汉明距离是等长两字符串中对应位置不同的个数,即把一个字符串转换成另一个所需的替换次数;汉明距离近似匹配中不存在插入与删除。
- 近似匹配会匹配给定编辑或汉明距离内的所有语料:给定一个模式,近似匹配会匹配任何"可通过编辑成为精确匹配原模式之语料"的文本。
- 匹配语义与常规匹配语义完全一致。
近似匹配示例
- 模式
/foo/:常规匹配只命中foo。在编辑距离 2 的近似匹配下,foo、foooo、f00、f以及任何位于距原模式匹配语料(即foo)编辑距离 2 内的文本都会产生匹配。 - 模式
/foo(bar)+/编辑距离 1:foobarbar、foobarb0r、fooarbar、foobarba、f0obarbar、fobarbar以及任何距匹配语料(foobarbar)编辑距离 1 内的文本都会匹配。 - 模式
/foob?ar/编辑距离 2:fooar、foo、fabar、oar以及任何距匹配语料(fooar)编辑距离 2 内的文本都会匹配。
权衡与限制
近似匹配支持带来以下代价:
- 模式支持减少:
- 对许多模式,近似匹配复杂,可能使 Hyperscan 编译失败并报 "Pattern too large" 错误,即便该模式常规操作下受支持。
- 某些模式无法近似匹配,因为它们会退化为所谓的"空匹配(vacuous)"模式(匹配一切的模式)。例如模式
/foo/编辑距离 3 若实现会退化为匹配零长度缓冲,这类模式编译时报 "Pattern cannot be approximately matched" 错误。汉明距离近似不删除符号,因此不会退化为空匹配模式。 - 近似匹配只实现正则语法的一个子集:不支持 UTF-8(及其他多字节字符编码)与词边界(
\b、\B及等价构造)。含不支持构造的模式同样报 "Pattern cannot be approximately matched" 错误。 - 近似匹配与 SOM 结合使用时,SOM 的全部限制同样适用。
- 流状态/字节码体积增加:近似匹配字节码天然更大更复杂,对应需求随之增加。
- 性能开销:匹配复杂度上升且产生更多匹配,通常伴随性能代价。
近似匹配默认始终禁用,需通过前文所述扩展参数逐模式启用。
逻辑组合:NOT、AND、OR 组合模式
当应用需要依赖一组模式中"某些命中、某些未命中"的状态组合来决定行为时,Hyperscan 支持对给定模式集做逻辑组合,提供三个运算符:NOT、AND、OR。
语义基础
组合的逻辑值基于各表达式在给定偏移处的匹配状态。任一表达式的匹配状态是布尔值:尚未匹配为 false,已经匹配为 true。特别地,NOT 在给定偏移处的值为 true,当且仅当它引用的表达式在该偏移为 false。例如 NOT 101 表示表达式 101 在该偏移处尚未匹配。
逻辑组合表达式在编译期作为一个表达式传给 Hyperscan。该组合表达式会在其任一子表达式命中、且整个组合逻辑值为 true 的每个偏移处触发匹配。以组合 ((301 OR 302) AND 303) AND (304 OR NOT 305) 为例:
- 若表达式 301 在偏移 10 命中,此时 301 为 true、其余为 false,组合值为 false。
- 表达式 303 在偏移 20 命中,此时 301、303 为 true,其余仍为 false,组合值为 true,于是组合表达式在偏移 20 触发一次匹配。
- 表达式 305 在偏移 30 命中,此时 301、303、305 均为 true,组合值为 false,不再触发匹配。
组合语法
逻辑组合表达式采用中缀表示法,由操作数、运算符和括号组成。操作数是表达式 ID,运算符是 !(NOT)、&(AND)、|(OR)。前述组合写作:
((301 | 302) & 303) & (304 | !305)
组合表达式规则如下:
- 运算符优先级为
!>&>|:A&B|C等价于(A&B)|CA|B&C等价于A|(B&C)A&!B等价于A&(!B)
- 允许多余括号:
(A)&!(B)与A&!B相同,(A&B)|C与A&B|C相同。 - 空白被忽略。
优先级在源码中可得到印证:src/parser/logical_combination.cpp 的 toOperator 将 !、&、| 分别映射为 LOGICAL_OP_NOT、LOGICAL_OP_AND、LOGICAL_OP_OR,cmpOperator 按操作数优先级做栈式比较,从而保证 ! 最高、| 最低的求值顺序。
使用方式
组合表达式必须连同 HS_FLAG_COMBINATION 标志一起传给编译函数(hs_compile_multi 或 hs_compile_ext_multi),该标志把模式标识为逻辑组合表达式。组合中引用的模式必须与组合表达式在同一模式集内一起编译。
当一个表达式设置了 HS_FLAG_COMBINATION 时,除 HS_FLAG_SINGLEMATCH 与 HS_FLAG_QUIET 之外的其他所有标志都被忽略——src/compiler/compiler.cpp 的 addExpression 会拒绝其他标志组合("only HS_FLAG_QUIET and HS_FLAG_SINGLEMATCH are supported in combination with HS_FLAG_COMBINATION."),并只接受 min_offset/max_offset 两类扩展参数。此外还支持组合模式:
- Hyperscan 会在编译期接受"没有任何模式匹配时逻辑值为 true"的组合表达式,并在数据结束时(若无模式匹配)报告组合匹配,例如:
!101、!101|102、!101&!102、!(101&102)。 - 作为组合操作数被引用的模式(如上例 301~305)可设置
HS_FLAG_QUIET标志,静默掉单个模式自己的匹配报告。未设置该标志时,单个模式与其逻辑组合的所有匹配都会被报告。 - 当表达式同时设置
HS_FLAG_COMBINATION与HS_FLAG_QUIET时,该逻辑组合不报告任何匹配。
实战建议:如何选择编译路径
综合全篇,可将编译期的技术选型归纳为几条主线:
- 规则集性质决定 API:全部是纯字面量且希望避免转义烦恼 → 用
hs_compile_lit/hs_compile_lit_multi(仅限CASELESS/SINGLEMATCH/SOM_LEFTMOST三个标志,不支持扩展参数);只要含一个正则表达式 → 用hs_compile/hs_compile_multi/hs_compile_ext_multi。 - 数据形态决定模式:连续流 →
HS_MODE_STREAM(注意流状态开销与跨块匹配);一次性连续块 →HS_MODE_BLOCK;一组非连续块 →HS_MODE_VECTORED。 - 需要起始偏移:加
HS_FLAG_SOM_LEFTMOST并在流式模式下选一个 SOM_HORIZON;注意它不能与SINGLEMATCH、PREFILTER组合。 - 需要约束或扩展匹配:用
hs_compile_ext_multi+hs_expr_ext_t的min_offset/max_offset/min_length裁剪匹配,或用edit_distance/hamming_distance开启近似匹配。 - 跨平台分发数据库:用
hs_platform_info_t+hs_populate_platform定向目标 CPU;指定cpu_features会限定数据库的运行平台,tune只影响优化取向不影响兼容性。
这些编译期能力共同构成了 Hyperscan"把复杂度留在编译期、把性能留给运行时"的设计哲学,也是它与传统回溯型正则引擎最本质的区别所在。