Spark Ranger 项目使用教程

1. 项目的目录结构及介绍

Spark Ranger 项目的目录结构如下：

spark-ranger/
├── README.md
├── pom.xml
├── src/
│   ├── main/
│   │   ├── java/
│   │   │   └── com/
│   │   │       └── netease/
│   │   │           └── spark/
│   │   │               └── ranger/
│   │   │                   ├── authorization/
│   │   │                   ├── audit/
│   │   │                   ├── client/
│   │   │                   ├── config/
│   │   │                   ├── policy/
│   │   │                   ├── plugin/
│   │   │                   └── util/
│   │   └── resources/
│   │       ├── conf/
│   │       │   ├── ranger-spark-audit.xml
│   │       │   ├── ranger-spark-security.xml
│   │       │   └── ranger-spark-policymanager.xml
│   │       └── log4j.properties
│   └── test/
│       └── java/
│           └── com/
│               └── netease/
│                   └── spark/
│                       └── ranger/
│                           └── test/

目录结构介绍

• README.md: 项目说明文档。
• pom.xml: Maven 项目配置文件。
• src/main/java/: 项目的主要 Java 源代码。
  • com/netease/spark/ranger/: Spark Ranger 的主要功能实现。
    • authorization/: 权限校验相关代码。
    • audit/: 审计日志相关代码。
    • client/: Ranger 客户端相关代码。
    • config/: 配置文件相关代码。
    • policy/: 策略管理相关代码。
    • plugin/: 插件实现相关代码。
    • util/: 工具类代码。
• src/main/resources/: 项目资源文件。
  • conf/: 配置文件目录。
    • ranger-spark-audit.xml: 审计配置文件。
    • ranger-spark-security.xml: 安全配置文件。
    • ranger-spark-policymanager.xml: 策略管理配置文件。
  • log4j.properties: 日志配置文件。
• src/test/java/: 测试代码目录。

2. 项目的启动文件介绍

Spark Ranger 项目的启动文件主要是通过 Maven 构建和打包后，将生成的 JAR 文件放置到 Spark 的 $SPARK_HOME/jars 目录中，并通过配置文件进行启动。

启动步骤

1. 构建项目:

   mvn clean package -Pspark-2.3 -Pranger-1.0 -DskipTests
   

2. 部署 JAR 文件: 将生成的 spark-ranger-<version>.jar 文件复制到 $SPARK_HOME/jars 目录中。

3. 配置文件: 在 $SPARK_HOME/conf 目录中创建或修改以下配置文件：

   • ranger-spark-security.xml: 安全配置文件。
   • ranger-spark-audit.xml: 审计配置文件。

4. 启动 Spark: 启动 Spark 服务，确保 Ranger 插件已加载并生效。

3. 项目的配置文件介绍

ranger-spark-security.xml

该文件用于配置 Ranger 管理客户端的相关信息，包括 Ranger 管理服务器的地址、服务名称等。

<configuration>
  <property>
    <name>ranger.plugin.spark.policy.rest.url</name>
    <value>http://ranger-admin:6080</value>
  </property>
  <property>
    <name>ranger.plugin.spark.service.name</name>
    <value>spark_service</value>
  </property>
  <property>
    <name>ranger.plugin.spark.policy.cache.dir</name>
    <value>/tmp/spark/policycache</value>
  </property>
  <property>
    <name>ranger.plugin