【亲测免费】 Netflix MetaCat 安装与使用指南

一、项目的目录结构及介绍

在 Netflix/metacat 的根目录下，你会看到以下主要的组成部分：

• metacat-functional-tests: 包含用于测试MetaCat功能的各种单元测试。
• metacat-main: 主要包含MetaCat的核心代码逻辑。
• metacat-metadata-mysql: 针对MySQL数据库的元数据管理部分。
• metacat-metadata: 元数据服务的主要实现包。
• metacat-testdata-provider: 提供用于测试的数据集。
• metacat-thrift: Thrift接口定义和服务端点。
• metacat-war: 包含了可以部署到Tomcat的应用程序的WAR文件。
• project: 构建脚本和其他项目级配置文件的存放地。
• scripts: 脚本集合，包括构建和运行容器的辅助工具。
• editorconfig 和 gitignore: 编辑器配置和Git忽略规则文件。
• LICENSE: 许可证信息，即Apache-2.0许可协议。
• OSSMETADATA: 开源软件元数据。
• README.md: 项目的主要读我文件。
• build.gradle: Gradle构建配置文件。
• gradle.properties: Gradle属性设置文件。
• gradlew 和 gradlew.bat: Gradle包装脚本，分别对应Unix/Linux和Windows环境。
• sample_config.properties: 示例配置文件，展示了如何设置MetaCat的连接和运行参数。

二、项目的启动文件介绍

本地运行

若想在本地环境中运行MetaCat，首先将 build/libs 目录下的WAR文件部署至已有的Tomcat服务器中作为ROOT应用。完成后，可通过以下URL访问REST API：

http://localhost:8080/mds/v1/catalog

对于API文档，你可以通过下面的URL查阅：

http://localhost:8080/swagger-ui/index.html

使用Docker Compose

如果你更倾向于利用Docker来运行一个自包含的MetaCat环境，可以执行以下命令（确保已经安装了Docker Compose）：

./gradlew metacatPorts

这会启动一系列Docker容器，其中包括MetaCat本身，以及支持它的Hive Metastore，Cassandra和PostgreSQL服务。获取映射端口以连接到内部容器的8080端口，访问API和文档：

http://localhost:<MAPPED_PORT>/mds/v1/catalog
http://localhost:<MAPPED_PORT>/swagger-ui/index.html

为了停止此Docker集群，只需执行：

./gradlew stopMetacatCluster

三、项目的配置文件介绍

MetaCat依赖于多个外部系统，如数据库存储和远程服务调用。这些连接细节通常保存在一个或多个配置文件中，例如常见的 application.properties 或者是 sample_config.properties 文件中的示例配置。这个文件应该包含必要的数据库连接字符串、用户名、密码等敏感信息，以及可能的超时设定、缓存策略或其他高级配置选项。

具体而言，在 sample_config.properties 中，您可以看到关于如何指定元数据存储位置的示例，比如用户的元数据配置文件路径：

metacat.usermetadata.config.location=Path/to/the/configuration/file/containing/connection/properties/to/store/user/metadata

以上介绍了 Netflix/metacat 项目的几个核心方面，从其目录结构解析到关键文件说明，希望能帮助初学者快速上手并理解该项目的关键组件和操作流程。