Apache SystemDS 技术文档

1. 安装指南

安装环境要求

• Java 11
• Python 3.5+
• Hadoop 3.3.x
• Spark 3.5.x
• Nvidia CUDA 10.2 (CuDNN 7.x)
• Intel MKL (<=2019.x)

Windows安装步骤

1. 设置Java和Maven环境，建议使用Java OpenJDK 11。
2. 配置环境变量JAVA_HOME和MAVEN_HOME，并添加到path环境变量。
3. 设置HADOOP_HOME环境变量，并添加%HADOOP_HOME%/bin到path。
4. 若要从命令行运行SystemDS，设置SYSTEMDS_ROOT指向仓库根目录，并添加bin文件夹到path。
5. 为提高构建速度，设置IDE或环境变量java的-Xmx16g -Xms16g -Xmn1600m。

Ubuntu安装步骤

1. 从源代码构建，具体步骤请参考官方文档。

MAC安装步骤

1. 从源代码构建，具体步骤请参考官方文档。

2. 项目的使用说明

Apache SystemDS是一个开放源代码的机器学习系统，适用于端到端的数据科学生命周期，包括数据集成、清洗、特征工程，高效的本地和分布式机器学习模型训练，以及部署和服务。SystemDS提供了类似R语言的语法，支持数据科学的不同任务和不同水平用户。

快速开始

• 安装、快速入门和Hello World示例，请参考官方文档。

3. 项目API使用文档

SystemDS提供了Python接口，使用户能够利用Pythonic风格操作SystemDS。该接口支持数据科学的整个生命周期，并将高级脚本编译为混合执行计划，包括本地内存CPU和GPU操作以及Apache Spark上的分布式操作。

Python API

• Python SystemDS文档，请参考官方文档。

4. 项目安装方式

从源代码安装

1. 访问官方安装指南，获取从源代码构建SystemDS的详细步骤。

以上就是Apache SystemDS的技术文档，希望对您有所帮助。