ArcGIS Python API 在 Azure Databricks 中的安装与配置指南

概述

ArcGIS Python API 是一个强大的地理空间分析工具，当它与 Azure Databricks 结合使用时，可以构建强大的地理空间大数据分析解决方案。本文将详细介绍如何在 Azure Databricks 环境中正确安装和配置 ArcGIS Python API。

环境准备

推荐运行时版本

经过实践验证，以下 Databricks 运行时版本与 ArcGIS Python API 兼容性最佳：

• Databricks Runtime 7.3 LTS (Scala 2.12, Spark 3.0.1)
• Databricks Runtime 9.1 LTS (Scala 2.12, Spark 3.1.2)
• Databricks Runtime 10.4 LTS (Scala 2.12, Spark 3.2.1)

ArcGIS API 版本选择

推荐使用最新稳定版的 ArcGIS Python API，目前最新稳定版本为 2.1.0。对于生产环境，建议固定使用特定版本以确保稳定性。

安装方法

方法一：使用 Databricks 库安装

1. 在 Databricks 工作区中，导航到"计算"页面
2. 选择目标集群，点击"库"选项卡
3. 点击"安装新库"
4. 选择"PyPI"作为库源
5. 在包名称中输入：arcgis
6. 可选择指定版本号（如：arcgis==2.1.0）
7. 点击"安装"

方法二：使用笔记本初始化脚本

对于需要自定义依赖项或特定配置的环境，可以使用笔记本初始化脚本：

%pip install arcgis==2.1.0
dbutils.library.restartPython()

依赖项管理

ArcGIS Python API 依赖多个第三方库，在不同 Databricks 运行时版本中可能需要手动处理依赖关系。以下是常见需要关注的依赖项：

• ujson：高性能 JSON 解析器
• requests：HTTP 请求库
• pandas：数据分析库
• requests_toolbelt：requests 扩展工具
• lxml：XML 处理库
• geomet：几何对象转换库

依赖冲突解决方案

当遇到依赖冲突时，可以创建 requirements.txt 文件：

arcgis==2.1.0
ujson>=5.4.0
requests>=2.26.0
pandas>=1.3.0
requests_toolbelt>=0.9.1
lxml>=4.6.3
geomet>=0.3.0

然后通过以下命令安装：

%pip install -r /dbfs/path/to/requirements.txt

常见问题排查

1. 版本冲突：如果遇到版本冲突，尝试创建新的干净环境或使用虚拟环境

2. SSL 证书问题：在 Databricks 中可能需要配置额外的 SSL 证书，可通过以下代码解决：

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

3. 内存不足：处理大型地理数据集时，可能需要增加集群内存配置

最佳实践

1. 版本固定：在生产环境中固定所有依赖项的版本号

2. 环境隔离：为不同项目创建独立的集群环境

3. 性能优化：对于大型地理数据处理，考虑使用 ArcGIS 的分布式计算功能

4. 认证管理：安全地存储和管理 ArcGIS 门户认证信息

结论

在 Azure Databricks 中成功使用 ArcGIS Python API 需要仔细考虑运行时版本和依赖项管理。通过遵循本文提供的指南，可以建立稳定可靠的地理空间分析环境，充分发挥 ArcGIS 与 Databricks 的强大功能。