Apache Doris SQL_BLOCK_RULE 规则创建与使用指南

概述

在Apache Doris分布式数据库中，SQL_BLOCK_RULE是一项重要的数据治理功能，它允许管理员创建规则来限制用户执行特定类型的SQL操作或控制数据扫描范围。本文将详细介绍SQL_BLOCK_RULE的创建方法、使用场景和最佳实践。

SQL_BLOCK_RULE的核心作用

SQL_BLOCK_RULE主要解决两类问题：

1. SQL执行限制：防止用户执行可能影响系统性能或安全性的特定SQL语句
2. 扫描限制：控制查询操作扫描的数据量，避免大查询导致系统过载

创建语法详解

创建SQL_BLOCK_RULE的基本语法如下：

CREATE SQL_BLOCK_RULE <规则名称>
PROPERTIES (
    -- 规则属性
    <属性>
    -- 可添加多个属性
    [ , ... ]
)

规则属性分类

1. SQL执行限制类属性

这类属性用于限制特定SQL语句的执行：

• sql：使用正则表达式匹配要阻止的SQL语句
  • 特殊字符需要转义，如select *应写为select \\*
• sqlHash：通过SQL的MD5哈希值精确匹配要阻止的SQL语句
  • 可直接从慢日志中获取SqlHash值

注意：sql和sqlHash属性不能同时使用

2. 扫描限制类属性

这类属性用于限制查询扫描的数据量：

• partition_num：限制单表扫描的最大分区数
• tablet_num：限制单表扫描的最大tablet数
• cardinality：限制单表扫描的最大行数

3. 开关类属性

• global：规则是否对所有用户生效（默认false）
• enable：规则是否启用（默认true）

权限要求

创建SQL_BLOCK_RULE需要ADMIN_PRIV全局权限。

实用案例解析

案例1：阻止全表扫描

CREATE SQL_BLOCK_RULE no_full_scan 
PROPERTIES(
    "sql"="select \\* from sales_records",
    "global"="true",
    "enable"="true"
);

当用户尝试执行select * from sales_records时，系统会返回错误提示。

案例2：限制大范围扫描

CREATE SQL_BLOCK_RULE limit_scan_scope 
PROPERTIES(
    "partition_num" = "20",
    "cardinality" = "5000000000",
    "global" = "true",
    "enable" = "true"
);

此规则限制单表扫描不超过20个分区、50亿行数据。

案例3：灵活的正则匹配

CREATE SQL_BLOCK_RULE prevent_order_tables 
PROPERTIES(
    "sql"="\\s*select\\s*\\*\\s*from order_\\w*\\s*",
    "global"="true",
    "enable"="true"
);

此规则会阻止所有以"order_"开头的表的全表扫描，忽略SQL中的空格。

案例4：针对特定用户的限制

CREATE SQL_BLOCK_RULE restrict_john 
PROPERTIES(
    "sql"="select \\* from sensitive_data",
    "global"="false",
    "enable"="true"
);

-- 将规则应用到特定用户
SET PROPERTY FOR 'john' 'sql_block_rules' = 'restrict_john';

正则表达式参考

在编写SQL匹配规则时，常用的正则表达式元字符包括：

• . 匹配任意单个字符
• * 匹配前一个元素0次或多次
• + 匹配前一个元素1次或多次
• ? 匹配前一个元素0次或1次
• [] 定义字符集合
• ^ 匹配字符串开头或表示否定
• $ 匹配字符串结尾
• \ 转义特殊字符
• \s 匹配空白字符
• \d 匹配数字
• \w 匹配单词字符

最佳实践建议

1. 合理使用global属性：全局规则要谨慎设置，建议先针对特定用户测试
2. 正则表达式测试：在应用前先测试正则表达式是否能准确匹配目标SQL
3. 结合监控使用：可以通过慢日志识别需要限制的高消耗SQL
4. 规则命名规范：采用有意义的名称，如no_full_scan_<表名>
5. 定期审查规则：随着业务变化，及时调整或删除不再需要的规则

通过合理使用SQL_BLOCK_RULE，可以有效防止意外的大查询影响系统稳定性，同时保护关键数据不被不当访问。