Marmot插件实战:一键采集PostgreSQL、Kafka、dbt等70+数据源元数据的完整指南
Marmot插件实战:一键采集PostgreSQL、Kafka、dbt等70+数据源元数据的完整指南
🦫 Marmot 是一款开源的"AI上下文层"(context layer):它的 70+ 插件可以把 PostgreSQL、Kafka、dbt、BigQuery、Airflow 等数据源的表、主题、模型和管道自动采集为带 schema、血缘、负责人的目录资产,供人和 AI Agent 统一查询。本文将从零带你用 Marmot 插件完成一次真实的元数据采集。
Marmot 插件是什么?为什么需要它
传统数据目录往往要写大量脚本去"爬"元数据,而 Marmot 的做法是插件 + 管道(Pipeline):
- 插件(Plugin):每个数据源对应一个独立插件,负责登录数据源、发现资产、抓取 schema 与血缘。所有插件源码都在 plugins/ 目录下,共 70 多个,比如 plugins/postgresql/、plugins/kafka/、plugins/dbt/。
- 管道(Pipeline):把一个插件"指向"一个数据源,按 cron 周期自动运行,让目录始终和数据源保持同步。
💡 核心理念:数据源只需要一个只读账号,Marmot 服务器负责定时调度插件完成元数据采集。
环境准备:用 Docker Compose 跑起 Marmot
前置条件:安装 Docker + Docker Compose,且 8080 端口空闲。
- 在项目根目录参考 README.md 中的
docker-compose.yaml示例(Marmot + PostgreSQL 两个容器); - 启动:
docker compose up -d
- 浏览器打开
http://localhost:8080,用admin/admin登录并按提示修改密码。
如果不想本地部署,也可以直接安装 install.sh 提供的 CLI:
curl -fsSL get.marmotdata.io | sh
实战一:采集 PostgreSQL 元数据
PostgreSQL 插件会采集数据库、schema、表、视图的列信息、表指标和外键血缘,源码见 plugins/postgresql/postgresql/source.go。
采集步骤(Web UI 全程 4 步,无需写代码):
- 左侧导航进入 Plugins → Add a source,选择 PostgreSQL;
- Basic info:给管道起名,例如
marketplace-postgres; - Configure:填入 host、user、password,可点 Test connection 预览能看到的对象;
- Schedule:勾选定时运行(如每天 03:00),点 Create pipeline → Run now。
🔐 权限提示:只需给插件账号只读权限(
CONNECT+USAGE+SELECT),授权 SQL 见 plugins/postgresql/README.md。
实战二:采集 Kafka 主题与 Schema
Kafka 插件可以发现集群中的 topic、分区配置,并可选接入 Confluent Schema Registry,把每个主题的值/键 schema 一并挂到资产上(配置示例见 plugins/kafka/README.md)。
关键连接项:
bootstrap_servers:集群地址,如kafka-1.prod.com:9092;authentication:支持sasl_ssl(SCRAM-SHA-512)或 mTLS;schema_registry.enabled: true:开启后自动拉取{topic}-value、{topic}-key等 subject 的 schema。
如果你用的是 Confluent Cloud 或 Redpanda,项目还提供带预设默认值的专用插件 plugins/confluent/、plugins/redpanda/,开箱即用。
实战三:采集 dbt 模型与转换层血缘
dbt 插件通过读取 dbt 生成的工件文件,把模型、source、seed 以及转换层血缘完整 ingest 进 Marmot,这是打通"数仓表 ↔ dbt 模型"血缘的关键一步(详见 plugins/dbt/README.md):
dbt compile # 必须:生成 manifest.json
dbt docs generate # 推荐:生成 catalog.json,含列类型与统计信息
在 Marmot 中创建 dbt 管道时,把 target_path 指向工件目录即可——它支持本地路径、s3:// 或 git::https://... 远端来源。配合 target_zone 设置,dbt 引用的数仓表还能自动与数仓插件采集的资产合并成完整血缘链。
查看采集结果:Discover 与管道监控
采集完成后,打开 Discover 页面,所有资产(表、topic、DAG、模型)与术语表、数据产品一起出现在搜索结果中,支持按 Kind / Type / Provider 过滤:
Plugins 页面则是所有管道的监控中心:每条管道显示最近运行状态、运行日志和资产数量,可随时 Run now 手动刷新(UI 说明见 web/docs/docs/Populating/UI.md)。命令行也可以查运行记录:
marmot runs list --pipelines marketplace-postgres
进阶:让目录"保鲜"的 4 个技巧
- 匹配调度频率:按数据源变化频率设置 cron,并错开整点,避免所有管道同时启动(见 web/docs/docs/Populating/Pipelines.md);
- 用 include 模式过滤:只采集团队真正关心的 schema,减少噪音;
- 暂停而非删除:需要临时停用时暂停调度,保留运行历史;
- 无插件场景:服务、API 等没有插件的系统,可用 Terraform 或 API 手动声明资产(web/docs/docs/Populating/Terraform.md)。
总结
| 步骤 | 操作 | 结果 |
|---|---|---|
| 1️⃣ 部署 | docker compose up -d |
Marmot 服务就绪 |
| 2️⃣ 建管道 | Plugins → Add a source → 选插件 | PostgreSQL / Kafka / dbt 元数据采集 |
| 3️⃣ 验证 | Discover 搜索 | 表、topic、模型统一可查 |
| 4️⃣ 保鲜 | 配置 cron 调度 | 目录与数据源自动同步 |
Marmot 插件体系的价值在于:一次配置连接,70+ 数据源的元数据、schema、血缘自动汇聚到一个受治理的目录中——人用 Discover 搜索,AI Agent 则通过内置 MCP 服务器拿到同样的真实上下文,而无需任何数据库密码。想动手试试?从 PostgreSQL 开始,10 分钟就能跑通第一条管道。




