Marmot插件实战:一键采集PostgreSQL、Kafka、dbt等70+数据源元数据的完整指南

原创2026-11-13 10:34:441,867 阅读

Marmot插件实战:一键采集PostgreSQL、Kafka、dbt等70+数据源元数据的完整指南

🦫 Marmot 是一款开源的"AI上下文层"(context layer):它的 70+ 插件可以把 PostgreSQL、Kafka、dbt、BigQuery、Airflow 等数据源的表、主题、模型和管道自动采集为带 schema、血缘、负责人的目录资产,供人和 AI Agent 统一查询。本文将从零带你用 Marmot 插件完成一次真实的元数据采集。

Marmot 插件是什么?为什么需要它

传统数据目录往往要写大量脚本去"爬"元数据,而 Marmot 的做法是插件 + 管道(Pipeline):

  • 插件(Plugin):每个数据源对应一个独立插件,负责登录数据源、发现资产、抓取 schema 与血缘。所有插件源码都在 plugins/ 目录下,共 70 多个,比如 plugins/postgresql/、plugins/kafka/、plugins/dbt/。
  • 管道(Pipeline):把一个插件"指向"一个数据源,按 cron 周期自动运行,让目录始终和数据源保持同步。

Marmot 插件选择页面:Airflow、BigQuery、Kafka、DBT 等 70+ 数据源插件一览

💡 核心理念:数据源只需要一个只读账号,Marmot 服务器负责定时调度插件完成元数据采集。

环境准备:用 Docker Compose 跑起 Marmot

前置条件:安装 Docker + Docker Compose,且 8080 端口空闲。

  1. 在项目根目录参考 README.md 中的 docker-compose.yaml 示例(Marmot + PostgreSQL 两个容器);
  2. 启动:
docker compose up -d
  1. 浏览器打开 http://localhost:8080,用 admin / admin 登录并按提示修改密码。

如果不想本地部署,也可以直接安装 install.sh 提供的 CLI:

curl -fsSL get.marmotdata.io | sh

实战一:采集 PostgreSQL 元数据

PostgreSQL 插件会采集数据库、schema、表、视图的列信息、表指标和外键血缘,源码见 plugins/postgresql/postgresql/source.go。

采集步骤(Web UI 全程 4 步,无需写代码):

  1. 左侧导航进入 Plugins → Add a source,选择 PostgreSQL;
  2. Basic info:给管道起名,例如 marketplace-postgres;
  3. Configure:填入 host、user、password,可点 Test connection 预览能看到的对象;
  4. Schedule:勾选定时运行(如每天 03:00),点 Create pipeline → Run now。

Marmot 新建管道的 Configure 步骤:为 marketplace-postgres 管道填写 PostgreSQL 连接信息

🔐 权限提示:只需给插件账号只读权限(CONNECT + USAGE + SELECT),授权 SQL 见 plugins/postgresql/README.md。

实战二:采集 Kafka 主题与 Schema

Kafka 插件可以发现集群中的 topic、分区配置,并可选接入 Confluent Schema Registry,把每个主题的值/键 schema 一并挂到资产上(配置示例见 plugins/kafka/README.md)。

关键连接项:

  • bootstrap_servers:集群地址,如 kafka-1.prod.com:9092;
  • authentication:支持 sasl_ssl(SCRAM-SHA-512)或 mTLS;
  • schema_registry.enabled: true:开启后自动拉取 {topic}-value、{topic}-key 等 subject 的 schema。

如果你用的是 Confluent Cloud 或 Redpanda,项目还提供带预设默认值的专用插件 plugins/confluent/、plugins/redpanda/,开箱即用。

Marmot 插件网格:DBT、Kafka、PostgreSQL、Redis 等插件卡片,可一键创建数据源管道

实战三:采集 dbt 模型与转换层血缘

dbt 插件通过读取 dbt 生成的工件文件,把模型、source、seed 以及转换层血缘完整 ingest 进 Marmot,这是打通"数仓表 ↔ dbt 模型"血缘的关键一步(详见 plugins/dbt/README.md):

dbt compile            # 必须:生成 manifest.json
dbt docs generate      # 推荐:生成 catalog.json,含列类型与统计信息

在 Marmot 中创建 dbt 管道时,把 target_path 指向工件目录即可——它支持本地路径、s3:// 或 git::https://... 远端来源。配合 target_zone 设置,dbt 引用的数仓表还能自动与数仓插件采集的资产合并成完整血缘链。

查看采集结果:Discover 与管道监控

采集完成后,打开 Discover 页面,所有资产(表、topic、DAG、模型)与术语表、数据产品一起出现在搜索结果中,支持按 Kind / Type / Provider 过滤:

Marmot Discover 页面:PostgreSQL、Kafka、dbt、BigQuery 等数据源采集的资产统一列表与过滤

Plugins 页面则是所有管道的监控中心:每条管道显示最近运行状态、运行日志和资产数量,可随时 Run now 手动刷新(UI 说明见 web/docs/docs/Populating/UI.md)。命令行也可以查运行记录:

marmot runs list --pipelines marketplace-postgres

Marmot Plugins 页面:各数据源管道的运行状态、调度计划与资产数量

进阶:让目录"保鲜"的 4 个技巧

  • 匹配调度频率:按数据源变化频率设置 cron,并错开整点,避免所有管道同时启动(见 web/docs/docs/Populating/Pipelines.md);
  • 用 include 模式过滤:只采集团队真正关心的 schema,减少噪音;
  • 暂停而非删除:需要临时停用时暂停调度,保留运行历史;
  • 无插件场景:服务、API 等没有插件的系统,可用 Terraform 或 API 手动声明资产(web/docs/docs/Populating/Terraform.md)。

总结

步骤 操作 结果
1️⃣ 部署 docker compose up -d Marmot 服务就绪
2️⃣ 建管道 Plugins → Add a source → 选插件 PostgreSQL / Kafka / dbt 元数据采集
3️⃣ 验证 Discover 搜索 表、topic、模型统一可查
4️⃣ 保鲜 配置 cron 调度 目录与数据源自动同步

Marmot 插件体系的价值在于:一次配置连接,70+ 数据源的元数据、schema、血缘自动汇聚到一个受治理的目录中——人用 Discover 搜索,AI Agent 则通过内置 MCP 服务器拿到同样的真实上下文,而无需任何数据库密码。想动手试试?从 PostgreSQL 开始,10 分钟就能跑通第一条管道。

登录后查看全文
marmot