DeepRec项目安装与配置指南

1. 项目基础介绍

DeepRec 是一个高性能的推荐系统深度学习框架，基于 TensorFlow 1.15、Intel-TensorFlow 和 NVIDIA-TensorFlow 开发。它目前托管在 LF AI & Data 基金会的孵化项目中。该项目广泛应用于零售、媒体、广告、社交网络和搜索引擎等领域，具有处理大规模非数值特征的能力，如 ID、标签、文本等。

主要编程语言：

• C++
• Python

2. 项目使用的关键技术和框架

关键技术：

• 大规模分布式训练能力，支持超过万亿样本和超过十万亿参数的推荐模型训练。
• 针对推荐模型，在 CPU 和 GPU 平台上进行了深入的性能优化。
• 包含一系列特性，以提高超大场景下的可用性和性能。

框架：

• TensorFlow 1.15
• Intel-TensorFlow
• NVIDIA-TensorFlow

3. 项目安装和配置准备工作

准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Ubuntu 20.04
• Python 版本：Python 3.8
• TensorFlow：1.15 版本
• CUDA：对于 GPU 版本，需要安装 CUDA 11.6

安装步骤

CPU 平台安装

1. 拉取 CPU 平台的 Docker 镜像：

   docker pull alideeprec/deeprec-build:deeprec-dev-cpu-py38-ubuntu20.04
   

2. 进入 Docker 容器：

   docker run -it alideeprec/deeprec-build:deeprec-dev-cpu-py38-ubuntu20.04 /bin/bash
   

3. 配置项目：

   ./configure
   

4. 编译：

   bazel build -c opt --config=opt //tensorflow/tools/pip_package:build_pip_package
   

5. 创建 whl 包：

   ./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
   

6. 安装 whl 包：

   pip3 install /tmp/tensorflow_pkg/tensorflow-1.15.5+${version}-cp38-cp38m-linux_x86_64.whl
   

GPU 平台安装

1. 拉取 GPU 平台的 Docker 镜像：

   docker pull alideeprec/deeprec-build:deeprec-dev-gpu-py38-cu116-ubuntu20.04
   

2. 进入 Docker 容器：

   docker run -it alideeprec/deeprec-build:deeprec-dev-gpu-py38-cu116-ubuntu20.04 /bin/bash
   

3. 配置项目：

   ./configure
   

4. 编译（确保 CUDA 环境变量设置正确）：

   bazel build -c opt --config=opt --cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0" --host_cxxopt="-D_GLIBCXX_USE_CXX11_ABI=0" //tensorflow/tools/pip_package:build_pip_package
   

5. 创建 whl 包：

   ./bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
   

6. 安装 whl 包：

   pip3 install /tmp/tensorflow_pkg/tensorflow-1.15.5+${version}-cp38-cp38m-linux_x86_64.whl
   

完成以上步骤后，您应该已经成功安装了 DeepRec 项目，并可以开始使用了。