开源项目最佳实践：src-d/ml

1. 项目介绍

sourced.ml 是一个开源库和命令行工具集，用于在通用抽象语法树（UAST）之上构建和应用机器学习模型。该项目为 MLonCode 研究和开发提供了基础，抽象了特征提取和模型训练，使得开发者可以专注于更高级别的任务。

目前，sourced.ml 实现了以下模型：

• BOW（加权词袋模型）：基于多种提取的特征类型。
• id2vec：源代码标识符嵌入。
• docfreq：特征文档频率（TF-IDF 的一部分）。
• 主题建模：针对源代码标识符。

项目使用 Python3 编写，已在 Linux 和 macOS 上进行了测试。sourced.ml 与 source{d} engine 紧密集成，并将特征提取的并行化委托给它。

2. 项目快速启动

在开始之前，请确保安装了所需的依赖库。以下是在 Ubuntu 上安装依赖库的示例命令：

sudo apt install libxml2-dev libsnappy-dev

此外，还需要安装 Tensorflow。根据需要选择 CPU 或 GPU 版本。

安装 sourced-ml：

pip3 install sourced-ml

如果需要使用 Apache Spark，可以选择包含 Spark 的安装方式：

pip3 install sourced-ml[spark]

或者，如果已经有一个现成的 Apache Spark 环境，可以避免重复下载，使用以下命令：

pip3 install -e "$SPARK_HOME/python"
pip3 install sourced-ml

安装完成后，可以通过以下命令检查是否正确安装：

srcml --help

3. 应用案例和最佳实践

以下是一些使用 sourced.ml 构建的概念验证项目：

• vecino：查找类似的代码仓库。
• tmsc：列出代码仓库的主题。
• snippet-ranger：对源代码片段进行主题建模。
• apollo：在大规模上实现源代码去重。

在应用这些案例时，最佳实践包括：

• 确保你的数据集适合所选择的模型。
• 对数据进行适当的预处理，如文件分类、UAST 提取和标识符的拆分和词干提取。
• 根据模型要求对特征进行加权，并训练模型。
• 使用 Tensorboard 可视化中间结果，优化模型参数。

4. 典型生态项目

sourced.ml 的生态系统中包括以下项目：

• ml-core：独立于挖掘工具的核心组件。
• ml-mining：基于已弃用的 jgit-spark-connector 的通用挖掘环境。

这些项目共同构成了一个强大的工具集，旨在通过机器学习技术提升源代码分析的能力。

通过遵循这些最佳实践，您可以更有效地利用 sourced.ml 来构建和应用机器学习模型，从而推进您的代码分析项目。