Asakusa Framework 技术文档

1. 安装指南

Maven 安装

1. 克隆项目到本地仓库。

git clone https://github.com/asakusafw/asakusafw.git
cd asakusafw

2. 使用 Maven 命令安装项目依赖。

./mvnw clean install -DskipTests

Gradle 安装

1. 切换到 Gradle 目录。

cd gradle

2. 使用 Gradle 命令安装项目依赖。

./gradlew clean [build] install

2. 项目使用说明

Asakusa Framework 是一个全栈框架，支持多种分布式/并行计算环境，如 Hadoop、Spark、M³ for Batch Processing 等。用户可以通过更改执行引擎（如 MapReduce、SparkRDD、C++ native）来享受分布式/并行计算的最佳性能。

Asakusa Framework 包括以下组件，帮助用户更轻松、高效、全面地开发复杂数据流程序：

• 数据流导向 DSL：基于 Java 的数据流设计，适合 DAG 构建和分布式/并行计算。
• 编译器：多级编译器支持，将 Java 源代码编译为中介表示，然后针对每个执行环境进行优化。
• 数据建模语言：支持与关系模型、CSV 或其他数据格式进行映射。
• 测试环境：支持基于 JUnit 的单元测试和端到端测试，可在各个执行环境之间移植。
• 运行时执行驱动：支持透明的作业执行驱动。

3. 项目API使用文档

Asakusa Framework 的 API 使用文档可以在官方文档中找到，具体内容包括：

• 数据流 API
• 编译器 API
• 数据建模 API
• 测试框架 API
• 运行时执行驱动 API

4. 项目安装方式

Maven 项目导入

1. 运行以下命令，生成 Eclipse 项目配置。

./mvnw eclipse:eclipse

2. 在 Eclipse 中导入现有项目。

3. 如果在 Eclipse 中运行测试，请激活 Preferences > Java > Debug > 'Only include exported classpath entries when launching'。

Gradle 项目导入

1. 切换到 Gradle 目录。

cd gradle

2. 运行以下命令，生成 Eclipse 项目配置。

./gradlew eclipse

3. 在 Eclipse 中导入现有项目。