Apache Doris 自定义函数(CREATE FUNCTION)使用指南

概述

在Apache Doris中，自定义函数(User Defined Function, UDF)功能允许用户扩展系统的内置函数能力，满足特定业务场景的计算需求。本文将详细介绍如何使用CREATE FUNCTION语句创建各种类型的自定义函数。

函数类型介绍

Apache Doris支持四种主要类型的自定义函数：

1. 标量函数(Scalar Function)：最基本的函数类型，输入一组值，返回单个值
2. 聚合函数(Aggregate Function)：对多行数据进行计算并返回单个结果
3. 表函数(Table Function)：可以返回多行多列结果
4. 别名函数(Alias Function)：为现有函数或表达式创建别名

语法详解

CREATE [ GLOBAL ] 
    [{AGGREGATE | TABLES | ALIAS }] FUNCTION <function_name>
    (<arg_type> [, ...])
    [ RETURNS <ret_type> ]
    [ INTERMEDIATE <inter_type> ]
    [ WITH PARAMETER(<param> [,...]) AS <origin_function> ]
    [ PROPERTIES ("<key>" = "<value>" [, ...]) ]

参数说明

必需参数

1. 函数名称(function_name)：

   • 可以包含数据库名，如db1.my_func
   • 不指定数据库时，将在当前会话的数据库中创建
   • 名称和参数不能与现有函数冲突

2. 参数类型(arg_type)：

   • 定义函数输入参数的数据类型
   • 可变参数使用, ...表示，且类型必须与最后一个非可变参数一致

3. 返回类型(ret_type)：

   • 定义函数返回值的数据类型
   • 创建新函数时必须指定
   • 创建别名函数时可省略

可选参数

1. GLOBAL：

   • 指定后函数全局可用

2. 函数类型标识：

   • AGGREGATE：创建聚合函数
   • TABLES：创建表函数
   • ALIAS：创建别名函数
   • 不指定则创建标量函数

3. 中间类型(inter_type)：

   • 仅用于聚合函数，定义计算中间结果的数据类型

4. PROPERTIES属性：

   • file：包含UDF的JAR包路径(必需)
   • symbol：UDF类名(必需)
   • type：UDF调用类型(默认Native，Java UDF需设为JAVA_UDF)
   • always_nullable：结果是否可能为NULL(默认true)

权限要求

执行CREATE FUNCTION需要用户拥有ADMIN_PRIV权限。

实际应用示例

1. 创建Java标量函数

CREATE FUNCTION java_udf_add_one(int) RETURNS int PROPERTIES (
    "file"="file:///path/to/java-udf-demo-jar-with-dependencies.jar",
    "symbol"="org.apache.doris.udf.AddOne",
    "always_nullable"="true",
    "type"="JAVA_UDF"
);

此示例创建了一个简单的Java UDF，功能是对输入的整数值加1。

2. 创建聚合函数

CREATE AGGREGATE FUNCTION simple_sum(INT) RETURNS INT PROPERTIES (
    "file"="file:///pathTo/java-udaf.jar",
    "symbol"="org.apache.doris.udf.demo.SimpleDemo",
    "always_nullable"="true",
    "type"="JAVA_UDF"
);

这个聚合函数实现了简单的求和功能。

3. 创建表函数

CREATE TABLES FUNCTION java_udtf(string, string) RETURNS array<string> PROPERTIES (
    "file"="file:///pathTo/java-udaf.jar",
    "symbol"="org.apache.doris.udf.demo.UDTFStringTest",
    "always_nullable"="true",
    "type"="JAVA_UDF"
);

表函数可以返回多行结果，适合处理需要展开的数据。

4. 创建别名函数

CREATE ALIAS FUNCTION id_masking(INT) WITH PARAMETER(id) AS CONCAT(LEFT(id, 3), '****', RIGHT(id, 4));

这个别名函数实现了ID脱敏功能，保留前3位和后4位，中间用星号代替。

5. 创建全局别名函数

CREATE GLOBAL ALIAS FUNCTION id_masking(INT) WITH PARAMETER(id) AS CONCAT(LEFT(id, 3), '****', RIGHT(id, 4));

添加GLOBAL关键字使函数在所有数据库中可用。

最佳实践建议

1. 命名规范：建议使用有意义的函数名，并考虑添加业务前缀
2. 错误处理：在Java UDF中实现完善的错误处理逻辑
3. 性能优化：对于复杂计算，考虑使用本地(Native)UDF提高性能
4. 版本管理：更新UDF时，建议使用新名称或版本号区分
5. 资源路径：生产环境中建议使用HTTP协议提供JAR包，便于多节点部署

通过合理使用自定义函数，可以极大扩展Apache Doris的数据处理能力，满足各种复杂业务场景的需求。