Facebook Archive Hadoop-20 项目教程

1. 项目目录结构及介绍

hadoop-20/
├── bin/
├── conf/
├── hdfs-autoconf/
├── ivy/
├── lib/
├── nativelib/
├── singleNodeHadoop/
├── src/
├── arcconfig
├── APACHE-README.txt
├── CHANGES.txt
├── FB-CHANGES.txt
├── LICENSE.txt
├── NOTICE.txt
├── README.txt
├── YAHOO-CHANGES.txt
├── build.xml
├── copy-hdfs-jars-to-maven.sh
├── edit_generated_pom.py
├── git-template.txt
└── ivy.xml

目录结构介绍

• bin/: 包含项目的可执行脚本文件。
• conf/: 包含项目的配置文件。
• hdfs-autoconf/: 包含HDFS自动配置相关的文件。
• ivy/: 包含Ivy依赖管理相关的文件。
• lib/: 包含项目依赖的库文件。
• nativelib/: 包含本地库文件。
• singleNodeHadoop/: 包含单节点Hadoop配置文件。
• src/: 包含项目的源代码。
• arcconfig: 包含Arc配置文件。
• APACHE-README.txt: Apache项目的README文件。
• CHANGES.txt: 项目变更记录。
• FB-CHANGES.txt: Facebook对项目的变更记录。
• LICENSE.txt: 项目许可证文件。
• NOTICE.txt: 项目通知文件。
• README.txt: 项目README文件。
• YAHOO-CHANGES.txt: Yahoo对项目的变更记录。
• build.xml: Ant构建文件。
• copy-hdfs-jars-to-maven.sh: 将HDFS JAR文件复制到Maven仓库的脚本。
• edit_generated_pom.py: 编辑生成的POM文件的Python脚本。
• git-template.txt: Git模板文件。
• ivy.xml: Ivy依赖配置文件。

2. 项目启动文件介绍

在 bin/ 目录下，通常包含启动Hadoop集群的脚本文件。例如：

• start-dfs.sh: 启动HDFS（Hadoop分布式文件系统）。
• start-yarn.sh: 启动YARN（Yet Another Resource Negotiator）。
• start-all.sh: 启动整个Hadoop集群。

这些脚本文件通常需要在Hadoop集群的各个节点上执行，以启动相应的服务。

3. 项目配置文件介绍

在 conf/ 目录下，包含Hadoop集群的配置文件。常见的配置文件包括：

• core-site.xml: 配置Hadoop核心参数，如HDFS的URI、临时目录等。
• hdfs-site.xml: 配置HDFS参数，如副本因子、数据块大小等。
• mapred-site.xml: 配置MapReduce参数，如任务调度器、任务内存设置等。
• yarn-site.xml: 配置YARN参数，如资源管理器地址、节点管理器配置等。

这些配置文件通常需要根据实际的集群环境和需求进行修改，以确保Hadoop集群的正常运行。

---

通过以上内容，您可以了解Facebook Archive Hadoop-20项目的目录结构、启动文件和配置文件的基本情况。希望这些信息对您有所帮助！