ASTNN 项目使用教程

1. 项目介绍

ASTNN（Abstract Syntax Tree Neural Network）是一个基于抽象语法树（AST）的神经网络模型，旨在将代码片段编码为监督向量，用于各种与源代码相关的任务。该项目在ICSE'2019上发表的论文《A Novel Neural Source Code Representation based on Abstract Syntax Tree》中首次提出。ASTNN主要应用于源代码分类和代码克隆检测，并有望在更多任务中发挥作用。

2. 项目快速启动

2.1 环境准备

确保你的环境满足以下要求：

• Python 3.6 或 3.7
• pandas 0.20.3
• gensim 3.5.0
• scikit-learn 0.19.1
• pytorch 1.0.0（建议根据你的环境从PyTorch官网安装）
• pycparser 2.18
• javalang 0.11.0
• 至少16GB RAM
• 支持CUDA的GPU（推荐）

2.2 安装依赖

使用pip安装所有依赖包：

pip install pandas==0.20.3 gensim==3.5.0 scikit-learn==0.19.1 pycparser==2.18 javalang==0.11.0

2.3 下载项目

从GitHub克隆项目：

git clone https://github.com/zhangj1994/astnn.git
cd astnn

2.4 运行示例

2.4.1 源代码分类

生成预处理数据：

python pipeline.py

训练和评估模型：

python train.py

2.4.2 代码克隆检测

生成预处理数据（C语言）：

cd clone
python pipeline.py --lang c

训练模型（C语言）：

python train.py --lang c

生成预处理数据（Java语言）：

python pipeline.py --lang java

训练模型（Java语言）：

python train.py --lang java

3. 应用案例和最佳实践

3.1 源代码分类

ASTNN在源代码分类任务中表现出色，能够将代码片段编码为向量，用于后续的分类任务。例如，可以用于检测代码中的安全漏洞或识别代码风格。

3.2 代码克隆检测

ASTNN在代码克隆检测中也有广泛应用，能够识别出相似或相同的代码片段，有助于代码重构和维护。

3.3 自定义数据集

如果你有自己的数据集，可以参考项目中的pkl文件格式，使用pandas加载和处理数据。例如，在代码克隆检测任务中，你需要替换/clone/data/java目录下的bcb_pair_ids.pkl和bcb_funcs_all.tsv文件。

4. 典型生态项目

4.1 PyTorch

ASTNN基于PyTorch框架开发，PyTorch提供了强大的深度学习工具和库，支持GPU加速，非常适合处理大规模数据和复杂模型。

4.2 pandas

pandas用于数据处理和分析，ASTNN使用pandas加载和处理数据文件，确保数据的准确性和高效性。

4.3 gensim

gensim用于生成词向量，ASTNN利用gensim生成代码片段的向量表示，进一步提升模型的性能。

4.4 scikit-learn

scikit-learn提供了丰富的机器学习算法和工具，ASTNN在模型评估和调优过程中使用了scikit-learn的工具。

通过以上步骤，你可以快速启动并使用ASTNN项目，进行源代码分类和代码克隆检测等任务。