TensorFlowOnSpark安装与使用指南

目录结构及介绍

TensorFlowOnSpark项目的目录结构如下所示：

tensorflow_on_spark/
├── bin/
│   ├── run_example.sh     # 启动脚本示例
│   └── ...
├── conf/
│   ├── log4j.properties   # 日志记录配置
│   └── ...
├── examples/
│   ├── mnist/             # MNIST数据集示例代码
│   │   ├── dataset.py     # 数据处理脚本
│   │   └── tf_mnist.py    # 使用TensorFlow训练MNIST模型
│   └── ...
├── jobs/
│   ├── job1/              # Job定义文件夹
│   │   ├── worker.py      # 工作节点执行代码
│   │   └── parameter_server.py  # 参数服务器代码
│   └── ...
├── lib/
│   ├── __init__.py
│   ├── data_feed.py       # 提供DataFeed类用于读取HDFS上的TFRecord文件
│   ├── launcher.py        # Launcher模块用于启动TensorFlowOnSpark任务
│   └── ...
└── src/
    ├── org/
    │   ├── apache/
    │   │   └── spark/
    │   │       └── tensorflow/
    │   │           └── JavaAPI.java  # Java API实现
    │   └── ...

bin/目录

bin/目录下存放着各种脚本文件，主要用于启动或停止TensorFlowOnSpark集群。例如run_example.sh是运行一个基本的TensorFlowOnSpark例子的脚本。

conf/目录

conf/目录存储了日志记录和其他系统级配置文件，如log4j.properties用来控制应用的日志记录行为。

examples/目录

examples/目录包含了多个TensorFlowOnSpark示例代码，其中mnist/目录下的tf_mnist.py示例展示了如何在分布式环境中使用TensorFlow进行图像分类的任务。

jobs/目录

jobs/目录中放置了实际要执行的工作负载，如训练任务的Python脚本，这些脚本会在Spark集群的工作节点上运行。一般包括工作节点(worker)代码和参数服务(PS)代码。

lib/目录

lib/目录内包含了TensorFlowOnSpark库的核心组件，比如data_feed.py提供了读取HDFS中的TFRecord文件的功能。

src/目录

src/目录通常存放源代码，对于Java API的支持，可能在这个目录里有相应的实现文件。

启动文件介绍

启动脚本run_example.sh位于bin/目录下，这是个Shell脚本，用于自动化启动一个TensorFlowOnSpark实例。该脚本通过调用launcher.py来配置并运行一个基于MNIST数据集的简单深度学习模型训练任务。

$ bin/run_example.sh

这个命令将执行一系列操作，包括从本地文件系统或HDFS加载数据集，创建并配置SparkSession，设置TensorFlowOnSpark的相关参数（如集群模式、工人的数量等），然后启动计算流程。

配置文件介绍

主要的配置文件是conf/log4j.properties，它控制着整个程序的日志级别和输出方式。 例如，在log4j.properties中可以找到以下配置项：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} %5p %c{1}:%L - %m%n
...

这些配置决定了哪些级别的消息应该被记录以及它们应该如何格式化。

此外，还有一些环境变量和参数是在启动脚本中传递给launcher.py的，例如：

• --cluster_size: 指定Spark集群上的worker数。
• --executor_cores: 每个工作进程使用的CPU核心数目。
• --executor_memory: 分配给每个工作进程的内存大小。
• --num_ps: 参数服务器的数量。

这些参数可以通过修改启动脚本来动态调整，以适应不同的硬件资源和应用场景需求。