Apache Doris 异步物化视图创建指南

概述

Apache Doris 的异步物化视图是一种预先计算并存储查询结果的数据库对象，能够显著提升复杂查询的性能。本文将详细介绍如何使用 CREATE ASYNC MATERIALIZED VIEW 语句创建异步物化视图，包括语法结构、参数说明、使用限制以及最佳实践。

基本语法

CREATE MATERIALIZED VIEW 
[ IF NOT EXISTS ] <materialized_view_name>
    [ (<columns_definition>) ] 
    [ BUILD <build_mode> ]
    [ REFRESH <refresh_method> [<refresh_trigger>]]
    [ [DUPLICATE] KEY (<key_cols>) ]
    [ COMMENT '<table_comment>' ]
    [ PARTITION BY (
        { <partition_col> 
            | DATE_TRUNC(<partition_col>, <partition_unit>) }
        )]
    [ DISTRIBUTED BY { HASH (<distribute_cols>) | RANDOM }
        [ BUCKETS { <bucket_count> | AUTO } ]
    ]               
    [ PROPERTIES (
          -- Table property
          <table_property>
          -- Additional table properties
          [ , ... ]) 
    ]
    AS <query>

核心参数详解

1. 必需参数

物化视图名称 (<materialized_view_name>)

• 必须在当前数据库内唯一
• 命名规则遵循标准标识符规范
• 不能使用保留关键字

查询语句 (<query>)

• 定义物化视图的数据来源和计算逻辑
• 支持标准 SELECT 语句
• 可以包含 JOIN、GROUP BY、聚合函数等复杂操作

2. 可选参数

键列定义 (<key_cols>)

• 指定物化视图的键列
• 键列必须是表的前 K 列
• 影响数据存储和查询效率

构建模式 (<build_mode>)

• IMMEDIATE：创建后立即刷新（默认）
• DEFERRED：延迟刷新

刷新机制 (<refresh_method>)

• COMPLETE：全量刷新
• AUTO：尝试增量刷新，失败时回退到全量刷新

触发方式 (<refresh_trigger>)

• MANUAL：手动触发
• ON SCHEDULE：定时刷新（支持 MINUTE/HOUR/DAY/WEEK 单位）
• ON COMMIT：基表数据变更时自动触发

分区策略 (PARTITION BY)

• 支持基于列或 DATE_TRUNC 函数的分区
• 可自动同步基表分区（仅支持内部表和 Hive 表）
• 支持分区上卷（roll-up）功能

高级特性

1. 物化视图属性

属性名称	功能说明
grace_period	允许查询改写时物化视图数据延迟的最大秒数
excluded_trigger_tables	数据刷新时忽略的表名列表
refresh_partition_num	单次 INSERT 语句刷新的分区数量
workload_group	指定刷新任务使用的资源组
partition_sync_limit	配置与基表同步的分区范围
enable_nondeterministic_function	是否允许物化视图定义包含非确定性函数（如 now(), random() 等）
use_for_rewrite	是否参与查询透明改写

2. 分区增量更新条件

1. 至少一个基表是分区表
2. 基表使用 List 或 Range 分区策略
3. 物化视图只能有一个分区字段
4. 分区字段必须出现在 SELECT 子句中
5. 使用 GROUP BY 时，分区字段必须出现在 GROUP BY 子句中
6. 使用窗口函数时，分区字段必须出现在 Partition By 子句中
7. 数据变更必须发生在分区表上
8. 不能使用 JOIN 操作中 NULL 生成侧的分区字段

权限要求

创建物化视图需要以下权限：

• 数据库的 CREATE_PRIV 权限
• 查询中涉及的所有表和视图的 SELECT_PRIV 权限

使用限制

1. DDL 限制：

   • 不支持修改列类型、添加或删除列
   • 不支持手动 INSERT INTO 或 INSERT OVERWRITE 操作

2. 刷新限制：

   • 增量刷新有特定条件限制
   • 非确定性函数需要显式启用

3. 分区限制：

   • 分区物化视图有严格的创建条件
   • 分区同步有时间范围限制

最佳实践

1. 选择合适的刷新策略：

   • 高频更新的数据建议使用 ON COMMIT 触发
   • 大数据量场景建议使用定时刷新

2. 合理设置分区：

   • 根据查询模式选择分区粒度
   • 利用 DATE_TRUNC 进行时间维度上卷

3. 资源隔离：

   • 为物化视图刷新任务配置专用 workload_group
   • 避免刷新任务影响线上查询性能

4. 查询改写优化：

   • 对仅用于直接查询的物化视图设置 use_for_rewrite=false
   • 合理设置 grace_period 平衡数据一致性和查询性能

总结

Apache Doris 的异步物化视图是提升查询性能的强大工具，通过预计算和存储查询结果，可以显著减少复杂查询的执行时间。理解各种参数和限制条件，结合实际业务场景合理配置，能够最大化物化视图的价值。建议在生产环境部署前，先在测试环境验证物化视图的刷新策略和性能表现。