Apache Hadoop 使用指南

一、项目目录结构及介绍

Apache Hadoop 的源代码仓库在 GitHub 上的 hadoop-site 主要包含了项目文档而非直接的源码或运行时使用的目录结构。不过，对于了解一个典型的 Hadoop 安装和其核心组件的结构至关重要，我们可以从标准的 Hadoop 分发版中概括：

• /docs: 此目录通常存放着API文档和用户指南。
• /src: 源代码目录，分为不同的子模块，如hadoop-common, hadoop-hdfs, hadoop-yarn, 和 hadoop-mapreduce等。
• /conf: 配置文件目录，在实际部署中，这个目录下会包含如 core-site.xml, hdfs-site.xml, yarn-site.xml, 和 mapred-site.xml 等关键配置文件。

请注意，上述目录结构是基于典型安装和开发环境的描述，而具体的hadoop-site仓库更多是面向文档和指导性内容。

二、项目的启动文件介绍

Hadoop 的启动涉及到多个服务，主要通过脚本进行管理。这些脚本一般位于安装目录下的 bin 目录：

• start-dfs.sh: 启动HDFS（分布式文件系统），这将启动NameNode和DataNodes。
• stop-dfs.sh: 停止HDFS的所有相关进程。
• start-yarn.sh: 启动YARN（Yet Another Resource Negotiator），它用于资源管理和作业调度，包括ResourceManager和NodeManagers。
• stop-yarn.sh: 停止YARN的所有进程。

在启动前，确保已正确设置了环境变量如HADOOP_HOME，且配置文件已经被适当地调整。

三、项目的配置文件介绍

Hadoop的配置文件主要有以下几种，它们位于配置目录（通常是${HADOOP_CONF_DIR}）中：

核心配置

• core-site.xml: 包含Hadoop的核心配置，比如FS.defaultFS属性指定了默认的文件系统URL（通常是HDFS）。

HDFS配置

• hdfs-site.xml: 自定义HDFS的行为，如块大小，副本数，NameNode地址等。

YARN配置

• yarn-site.xml: 控制YARN集群的行为，包括ResourceManager的地址，容器分配策略等。

MapReduce配置

• mapred-site.xml (可能需要通过模板mapred-site.xml.template创建)：指定MapReduce作业的默认行为，例如JobTracker的位置（在YARN模式下不适用，由ResourceManager处理）以及计算框架的相关参数。

每个配置文件都通过XML标签来设置键值对，这对定制Hadoop环境以满足特定需求至关重要。

请注意，上述信息基于通用知识和标准Hadoop分布的实践，并未直接来自提供的GitHub链接，因为该链接指向的是文档站点而不是源码库的直接操作指南。确保在实际部署和配置Hadoop时参考最新的官方文档和发布版本的指南。