PostgreSQL-HLL 扩展使用教程

2024-09-14 06:49:27作者：何举烈Damon

项目介绍

PostgreSQL-HLL 是一个 PostgreSQL 数据库扩展，它引入了新的数据类型 hll，这是一种 HyperLogLog 数据结构。HyperLogLog 是一种固定大小的、类似于集合的结构，用于在可调精度的前提下进行去重计数。例如，在 1280 字节的存储空间中，HyperLogLog 可以估计数十亿个唯一值的计数，误差仅为几个百分点。

该扩展最初由 Aggregate Knowledge 的 Science 团队开发，现在由 Citus Data 维护。它不仅实现了原始 HyperLogLog 算法，还进行了增强，以在不牺牲太多速度的情况下提高其准确性和内存使用效率。

项目快速启动

安装 PostgreSQL-HLL 扩展

首先，确保你已经安装了 PostgreSQL 数据库。然后，按照以下步骤安装 PostgreSQL-HLL 扩展：

克隆项目仓库：

git clone https://github.com/citusdata/postgresql-hll.git
cd postgresql-hll

编译并安装扩展：
```
make
sudo make install
```
在 PostgreSQL 数据库中启用扩展：
```
CREATE EXTENSION hll;
```

使用示例

以下是一个简单的使用示例，展示了如何在 PostgreSQL 中使用 HyperLogLog 进行去重计数：

-- 创建一个测试表
CREATE TABLE test_hll (
    id integer,
    set hll
);

-- 插入一个空的 HyperLogLog
INSERT INTO test_hll(id, set) VALUES (1, hll_empty());

-- 添加一个哈希整数到 HyperLogLog
UPDATE test_hll SET set = hll_add(set, hll_hash_integer(12345)) WHERE id = 1;

-- 添加一个哈希字符串到 HyperLogLog
UPDATE test_hll SET set = hll_add(set, hll_hash_text('hello world')) WHERE id = 1;

-- 获取 HyperLogLog 的基数估计
SELECT hll_cardinality(set) FROM test_hll WHERE id = 1;

应用案例和最佳实践

数据仓库使用案例

假设你有一个记录用户访问网站的日志表，包含数亿行数据。你希望快速了解每天的唯一用户数，而不需要进行全表扫描。

-- 创建事实表
CREATE TABLE facts (
    date date,
    user_id integer,
    activity_type smallint,
    referrer varchar(255)
);

-- 创建每日唯一用户统计表
CREATE TABLE daily_uniques (
    date date UNIQUE,
    users hll
);

-- 填充每日唯一用户统计表
INSERT INTO daily_uniques(date, users)
SELECT date, hll_add_agg(hll_hash_integer(user_id))
FROM facts
GROUP BY 1;

-- 查询每日唯一用户数
SELECT date, hll_cardinality(users) FROM daily_uniques;

最佳实践

选择合适的参数：HyperLogLog 的精度可以通过 log2m 和 regwidth 参数进行调整。根据你的需求选择合适的参数以平衡精度和内存使用。
使用哈希函数：确保所有输入值都经过哈希处理，以保证 HyperLogLog 的准确性。
利用聚合函数：使用 hll_add_agg 和 hll_union_agg 等聚合函数来简化数据处理。