Apache Doris 文件管理：CREATE FILE 命令详解

概述

在 Apache Doris 分布式分析型数据库中，CREATE FILE 命令是一个重要的文件管理工具，它允许用户将外部文件上传并存储到 Doris 集群中。这些文件通常用于支持数据库的各种功能，如安全认证、数据导入等场景所需的证书、密钥等文件。

命令语法

CREATE FILE <file_name>
        [ { FROM | IN } <database_name>] PROPERTIES ("<key>"="<value>" [ , ... ]);

参数详解

必需参数

1. 文件名称(file_name)
   用户自定义的文件名，用于在系统中标识该文件。

2. 文件属性(key)

   • url: 必须指定，表示文件的下载地址（支持HTTP协议）
   • catalog: 必须指定，用于文件分类的自定义目录名称
   • md5: 可选参数，用于文件完整性校验

3. 属性值(value)
   对应各个属性的具体值。

可选参数

• 数据库名称(database_name)
  指定文件所属的数据库。若不指定，则默认使用当前会话的数据库。

权限要求

执行此命令需要具备以下权限：

权限类型	作用对象	说明
ADMIN_PRIV	用户/角色	必须拥有管理员权限

使用限制

1. 访问控制
   文件遵循数据库级别的访问控制，只有拥有数据库访问权限的用户才能操作其中的文件。

2. 文件大小限制
   单个文件大小不得超过1MB，适用于管理小型配置文件。

3. 数量限制
   整个Doris集群最多支持上传100个文件。

典型应用场景

场景一：Kafka数据导入配置

当使用Kafka作为数据源进行例行导入时，可能需要SSL证书文件：

CREATE FILE "kafka_ca.pem"
PROPERTIES
(
    "url" = "https://example.com/certs/kafka/ca.pem",
    "catalog" = "kafka_security"
);

场景二：数据库专属配置文件

为特定数据库上传专属配置文件：

CREATE FILE "custom_config.json"
IN finance_db
PROPERTIES
(
    "url" = "https://internal.com/configs/finance.json",
    "catalog" = "app_config",
    "md5" = "a1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6"
);

最佳实践建议

1. 文件命名规范
   建议采用有意义的文件名，并保持一致性，如使用业务前缀（kafka_、ssl_等）。

2. 分类管理
   合理规划catalog分类，便于后续维护和查找。

3. 完整性校验
   对于关键文件，务必提供MD5校验值，确保文件传输完整无误。

4. 生命周期管理
   定期审查不再使用的文件，及时清理以节省存储空间。

常见问题解答

Q：上传文件后原始URL是否可以删除？
A：可以。文件一旦成功上传到Doris集群，系统会保存文件内容，不再依赖原始URL。

Q：如何查看已上传的文件？
A：可以通过系统表或特定命令查询文件信息（具体命令请参考相关文档）。

Q：文件内容更新后如何处理？
A：需要先删除旧文件，然后重新上传新版本文件。

通过合理使用CREATE FILE命令，用户可以高效管理Doris集群中的各类配置文件，为数据安全传输和系统配置提供可靠支持。