Apache Doris 同步物化视图(SYNC MATERIALIZED VIEW)创建指南

概述

在Apache Doris中，同步物化视图(SYNC MATERIALIZED VIEW)是一种预先计算并存储查询结果的数据库对象，能够显著提升查询性能。本文将详细介绍如何创建和使用同步物化视图，帮助开发者优化Doris数据库查询效率。

同步物化视图基本概念

同步物化视图是一种特殊的数据库视图，它会自动与基表保持数据同步。当基表数据发生变化时，物化视图中的数据也会实时更新。这种特性使得物化视图非常适合用于加速复杂查询的场景。

创建语法详解

创建同步物化视图的基本语法如下：

CREATE MATERIALIZED VIEW <materialized_view_name> AS <query>

其中<query>部分需要遵循特定格式：

SELECT <select_expr>[, select_expr ...]
FROM <base_table>
[GROUP BY <column_name>[, <column_name> ...]]
[ORDER BY <column_name>[, <column_name> ...]]

参数说明

1. 物化视图名称

物化视图名称必须满足以下要求：

• 在同一个基表下必须唯一
• 必须以字母开头（如果启用了Unicode支持，可以是任何语言的字符）
• 不能包含空格或特殊字符，除非使用反引号(`)将整个名称括起来
• 不能是保留关键字

2. 查询语句

查询语句定义了物化视图的内容结构，需要注意：

• select_expr：必须包含至少一个单列，构成物化视图的列结构
• base_table：必须指定单个基表，不能是子查询
• GROUP BY：可选的分组列
• ORDER BY：可选的排序列，声明顺序必须与select_expr中的列顺序一致

权限要求

创建同步物化视图需要具备基表的ALTER_PRIV权限。

使用注意事项

1. 查询限制：

   • 仅支持单表SELECT查询
   • 支持WHERE、GROUP BY、ORDER BY子句
   • 不支持JOIN、HAVING、LIMIT子句或LATERAL VIEW

2. SELECT列表限制：

   • 不能包含自增列、常量、重复表达式或窗口函数
   • 如果包含聚合函数，聚合函数必须是根表达式

3. 性能考虑：

   • 单个表上创建过多物化视图会影响数据导入效率
   • 导入数据时，物化视图和基表会同步更新

4. Unique Key模型限制：

   • 只能改变列顺序，不能进行聚合操作

实际应用示例

假设我们有一个名为lineitem的表，结构如下：

+-----------------+---------------+------+-------+---------+-------+
| Field           | Type          | Null | Key   | Default | Extra |
+-----------------+---------------+------+-------+---------+-------+
| l_orderkey      | int           | No   | true  | NULL    |       |
| l_partkey       | int           | No   | true  | NULL    |       |
| l_suppkey       | int           | No   | true  | NULL    |       |
| l_linenumber    | int           | No   | true  | NULL    |       |
| l_quantity      | decimal(15,2) | No   | false | NULL    | NONE  |
| l_extendedprice | decimal(15,2) | No   | false | NULL    | NONE  |
| l_discount      | decimal(15,2) | No   | false | NULL    | NONE  |
| l_tax           | decimal(15,2) | No   | false | NULL    | NONE  |
| l_returnflag    | char(1)       | No   | false | NULL    | NONE  |
| l_linestatus    | char(1)       | No   | false | NULL    | NONE  |
| l_shipdate      | date          | No   | false | NULL    | NONE  |
| l_commitdate    | date          | No   | false | NULL    | NONE  |
| l_receiptdate   | date          | No   | false | NULL    | NONE  |
| l_shipinstruct  | char(25)      | No   | false | NULL    | NONE  |
| l_shipmode      | char(10)      | No   | false | NULL    | NONE  |
| l_comment       | varchar(44)   | No   | false | NULL    | NONE  |
+-----------------+---------------+------+-------+---------+-------+

我们可以创建一个聚合物化视图来加速按发货日期和零件键分组的查询：

CREATE MATERIALIZED VIEW sync_agg_mv AS
SELECT 
  l_shipdate,
  l_partkey,
  count(*),
  sum(l_discount)
FROM
  lineitem
GROUP BY
  l_shipdate,
  l_partkey;

最佳实践建议

1. 合理规划物化视图：只为最频繁使用的查询模式创建物化视图
2. 控制数量：避免在单个表上创建过多物化视图
3. 考虑存储成本：物化视图会占用额外的存储空间
4. 测试性能影响：在正式环境部署前，测试物化视图对写入性能的影响

通过合理使用同步物化视图，可以显著提升Apache Doris中复杂查询的性能，为数据分析提供更高效的解决方案。