在chdb中使用S3引擎创建表的注意事项

chdb是一个基于ClickHouse的分析数据库引擎，它提供了Python接口方便用户进行数据操作。在使用chdb的S3引擎创建表时，开发者可能会遇到表创建成功但无法查询的问题，这实际上与chdb的数据库持久性机制有关。

问题现象

当开发者尝试使用以下SQL语句创建S3引擎表时：

CREATE TABLE monplein
(
    `pdvid` Nullable(Int32),
    `cp` Nullable(String),
    `pop` Nullable(String),
    `latitude` Nullable(Float64),
    `longitude` Nullable(Float64),
    `type_carburant` Nullable(String),
    `maj` Nullable(Int64),
    `ville` Nullable(String),
    `instant` Nullable(Bool),
    `adresse` Nullable(String),
    `h3` Nullable(String),
    `prix` Nullable(Float64),
    `prix_brute` Nullable(Float64)
)
ENGINE=S3('https://example.s3.eu-west-1.amazonaws.com/annee2.parquet', 'ACCESS', 'SECRET', 'Parquet');

表创建语句执行后，使用SHOW TABLE命令却无法查看到该表，返回错误提示"没有表的元数据"。

原因分析

这个问题源于chdb的默认数据库(default)的非持久性特性。在chdb中，默认数据库是一个临时数据库，不会持久保存表的元数据信息。因此，虽然表创建语句执行成功，但由于元数据未被保存，后续无法查询到该表。

解决方案

要解决这个问题，需要遵循以下步骤：

1. 首先创建一个持久化的数据库：

sess.query("CREATE DATABASE local", "CSV")

2. 切换到新创建的数据库：

sess.query("USE local", "CSV")

3. 在新数据库中创建S3引擎表：

sess.query(query_table, "Debug")

完成这些步骤后，就可以正常查询和使用S3引擎表了。

技术背景

chdb的这种设计实际上反映了ClickHouse的数据库管理机制。在ClickHouse中，不同的数据库可以有不同的引擎(如Atomic、Ordinary等)，这些引擎决定了表的元数据如何存储和管理。chdb为了轻量化和简化，默认使用了一个非持久化的数据库实现。

S3引擎是ClickHouse提供的一种特殊表引擎，它允许直接查询存储在S3上的文件(如Parquet格式)，而不需要将数据导入数据库。这种设计非常适合数据分析场景，可以避免不必要的数据迁移和存储开销。

最佳实践

1. 在使用chdb时，总是先创建一个持久化数据库
2. 对于S3引擎表，确保文件路径和凭证正确
3. 使用完数据库后，可以考虑显式删除不再需要的表
4. 对于生产环境，建议配置更完善的数据库持久化方案

通过遵循这些实践，可以确保在chdb中稳定可靠地使用S3引擎表进行数据分析工作。