NYU-DLSP20 深度学习实战环境搭建指南:从 Miniconda 到 Jupyter Notebook 的完整起步流程
NYU-DLSP20 深度学习实战环境搭建指南:从 Miniconda 到 Jupyter Notebook 的完整起步流程
本文以仓库中意大利语入门文档 docs/it/README-IT.md 为骨架,结合仓库内的 environment.yml、README.md、docs/_config.yml 与课程 Notebook 资源,系统讲解 NYU Deep Learning Spring 2020(NYU-DLSP20)课程仓库的本地环境搭建、Jupyter 交互式学习与暗色主题配置全流程。读完本文,你将能够在一台全新的 Mac / Ubuntu Linux(或 Windows + Git Bash)机器上,从零复现出与课程作者一致的可交互深度学习实验环境,并清楚知道每份 Notebook 与幻灯片分别对应课程的哪一周内容。
仓库与课程概览
NYU-DLSP20 是纽约大学 2020 年春季深度学习课程(DS-GA 1008)配套的 Notebook 仓库,核心授课内容覆盖监督/无监督深度学习、嵌入与度量学习、卷积神经网络(CNN)、循环神经网络(RNN)、能量模型、自监督学习与生成模型等主题,并配有计算机视觉、自然语言理解与语音处理方向的实践案例。
仓库根目录下直接存放了从 00-logic_neuron_programming.ipynb 到 16-gated_GCN.ipynb 共 17 个 Jupyter Notebook,以及 slides/ 目录下的 13 份 PDF 幻灯片(从《00 - Logic neurons》到《12 - EBM》),二者按周一一对应。课程各章节的文字讲解(含意大利语翻译版)位于 docs/it/ 目录,其中 docs/it/index.md 给出了完整课程表、授课教师(Yann LeCun 与 Alfredo Canziani)与每周的讲义、Notebook、视频资源映射。
仓库还内置了一个基于 Jekyll 的配套课程网站目录(docs/README.md 说明了其构建方式),而本文关注的重点——本地运行全部 Notebook 的最小环境——则完全由 environment.yml 与入门文档中的几条命令支撑。
环境要求与准备
根据 docs/it/README-IT.md,要顺利跟进课程练习,你需要一台安装了 Miniconda(Anaconda 的精简版)并预装若干 Python 包的电脑:
| 项目 | 要求 |
|---|---|
| 包管理工具 | Miniconda(Python 版本 ≥ 3.7) |
| 操作系统 | macOS 或 Ubuntu Linux 可直接照做;Windows 用户需安装并使用 Git Bash 终端 |
| Python | ≥ 3.7(Miniconda 安装最新版即可满足) |
Windows 用户注意:后续所有命令都应在 Git Bash 环境中执行,而不是 CMD 或 PowerShell。
仓库 environment.yml 中还提供了另一条隐性要求:由于依赖从 conda-forge 与 pytorch 两个 conda 频道解析,安装过程需要能正常访问这两个软件源。
下载并安装 Miniconda
首先前往 Anaconda 官网,下载最新版、面向你当前操作系统、Python 版本 ≥ 3.7 的 Miniconda 安装包,然后在终端中执行:
wget <http:// url di miniconda> # 替换为实际的 Miniconda 下载地址
sh <miniconda*.sh> # 运行下载到的安装脚本
第二条命令中的 <miniconda*.sh> 是通配写法,实际执行时会匹配你下载的那个安装脚本文件名。安装过程中按提示选择安装路径,并允许安装器将 conda 写入 PATH(若你希望后续命令直接可用)。
安装完成后,验证 conda 是否可用:
conda --version
获取课程仓库
Miniconda 就绪后,把课程仓库克隆到本地。仓库的当前镜像地址可直接用于 clone:
git clone https://gitcode.com/gh_mirrors/pyt/pytorch-Deep-Learning
克隆完成后进入仓库目录,然后进行环境配置。
创建隔离的 Miniconda 环境
进入课程目录,用仓库自带的 environment.yml 一次性创建课程专用环境:
# cd NYU-DLSP20
conda env create -f environment.yml
source activate NYU-DL
说明:
source activate NYU-DL是文档采用的激活方式。在 conda 4.4 及更新版本中,更推荐使用conda activate NYU-DL,若conda activate不可用,可先执行conda init初始化 shell。
创建独立命名空间(环境名 NYU-DL)的好处是:课程依赖全部与系统 Python 隔离,不会污染其他项目,日后删除也只需 conda env remove -n NYU-DL。
environment.yml 依赖逐项解析
为了让读者对"装了什么"心里有数,这里把 environment.yml 的完整内容逐项拆解:
name: NYU-DL # 环境名称,激活时使用
channels:
- conda-forge # conda-forge 社区频道,提供大量科学计算包
- pytorch # PyTorch 官方频道,安装 pytorch 系列包
dependencies:
- python # Python 解释器(跟随频道当前默认版本,满足 ≥3.7)
- pip # pip 包管理器,用于安装 pip 段依赖
- matplotlib # 绘图库,Notebook 中用于可视化损失曲线、决策边界等
- jupyterlab # JupyterLab 界面
- ipympl # matplotlib 交互式后端,支持 Notebook 内画布交互
- pytorch # 深度学习框架核心
- torchvision # 视觉数据集与预训练模型、图像变换工具
- torchtext # 文本处理数据集与工具
- opencv # 计算机视觉库(图像读取、处理)
- librosa # 音频分析库(语音处理相关练习依赖)
- pip: # 以下包通过 pip 安装
- torchviz # 将 PyTorch 计算图可视化为图片的工具
可以看到课程环境涵盖了视觉(opencv、torchvision)、音频(librosa)、文本(torchtext)与可视化(matplotlib、ipympl、torchviz)四大类工具,这与课程"计算机视觉、自然语言理解、语音处理"的应用方向完全对应。例如 extra/utils/optim.py 这类自定义优化器实验依赖 matplotlib 与 torch,而 07-listening_to_kernels.ipynb(听卷积核实验)则需要 librosa 与 opencv 协同工作。
启动 Jupyter Notebook 或 JupyterLab
环境激活后,在终端启动交互式界面:
jupyter lab
如果偏好经典界面,则使用:
jupyter notebook
两种方式都会在本机默认端口(通常 8888)拉起 Jupyter 服务并在浏览器中打开。进入页面后,从仓库根目录打开任意 *.ipynb 文件即可开始学习。
快速验证环境是否就绪
启动前可以在终端里做一次冒烟测试,确认核心依赖已正确安装:
python -c "import torch, torchvision, matplotlib; print('PyTorch:', torch.__version__)"
若该命令正常打印版本号,说明 environment.yml 中的核心依赖已就位;若提示缺包,可对单个包执行 conda install -n NYU-DL <包名> 或 pip install <包名> 补充。
为 GitHub 与 Jupyter 配置暗色主题
课程作者在 docs/it/README-IT.md 中特别说明:仓库与 Notebook 全程使用暗色风格,建议读者将 GitHub 页面与 Jupyter Notebook 也配置成暗色主题,否则在亮色背景下浏览会显得不协调。
- JupyterLab:内置可选暗色主题,直接通过 设置(Settings)→ 主题(Theme)切换即可,无需额外安装。
- 经典 Jupyter Notebook 界面:需要安装一款名为 Jupyter Notebook dark 的用户样式(userstyle)主题。
- GitHub 暗色主题:安装 GitHub dark 用户样式后,还需要注释掉样式表中
invert #fff to #181818那一段代码块,否则页面配色会被再次反转、适得其反。
上述两个用户样式主题均为浏览器端样式插件(如 Stylus / userstyles 类扩展)可加载的样式源,安装后刷新页面即可生效。仓库在 GitHub 上渲染的 Markdown 页面(如根目录 README.md)在暗色主题下观感最佳。
本地运行课程配套网站(进阶)
仓库的 docs/ 目录是一套 Jekyll 站点源码,除了 Notebook,你还可以在本地把课程网站跑起来,方便以网页形式浏览全部章节(意大利语章节见 docs/it/index.md)。按照 docs/README.md 的说明:
- 安装 Ruby 与 Jekyll 工具链(
gem install jekyll webrick); - 查询 jekyll 安装路径:
gem environment gemdir; - 用该路径下的 jekyll 启动本地服务。
仓库已贴心提供封装脚本 docs/serve.sh,内容即一条完整的启动命令(基于本机 Ruby gems 路径与 --baseurl '/NYU-DLSP20')。在 docs/ 目录下直接执行:
./serve.sh
即可启动本地站点。站点目录结构由 docs/_config.yml 定义,其中 it: 段(约 349–407 行)声明了意大利语版课程的章节树:从 it/week01/01.md 到 it/week12/12.md,每个章节又包含若干子节(如 it/week01/01-1.md、01-2.md、01-3.md),对应各周的讲义小节与实践小节。如果你想了解某个章节在网站上的组织方式,直接查看该 YAML 配置即可。
课程内容地图:Notebook × 周次对照
结合 docs/it/index.md 的课程表与仓库根目录实际存在的 Notebook 文件,可以得到下面这份"内容地图",便于你在环境就绪后按周次展开学习:
| 周次 | 主题 | 对应 Notebook(仓库根目录) | 对应幻灯片(slides/) |
|---|---|---|---|
| ① | 神经网络入门与张量 | 01-tensor_tutorial.ipynb、02-space_stretching.ipynb | 00 - Logic neurons.pdf、00 - ML taxonomy.pdf |
| ② | SGD 与反向传播 | 04-spiral_classification.ipynb、05-regression.ipynb | 01 - Spiral classification.pdf |
| ③ | 参数变换与 CNN | 06-convnet.ipynb | 02 - CNN.pdf |
| ④ | 一维卷积(听卷积核) | 07-listening_to_kernels.ipynb | — |
| ⑤ | 优化与 autograd | 03-autograd_tutorial.ipynb、extra/b-custom_grads.ipynb | 03 - Salsa.pdf |
| ⑥ | RNN / GRU / LSTM 与注意力 | 08-seq_classification.ipynb、09-echo_data.ipynb | 04 - RNN.pdf |
| ⑦ | 能量模型与自编码器 | 10-autoencoder.ipynb | 05 - Generative models.pdf |
| ⑧ | 对比方法与 VAE | 11-VAE.ipynb | 05 - Generative models.pdf |
| ⑩ | 自监督学习与控制 | 14-truck_backer_upper.ipynb | 09 - Controller learning.pdf |
| ⑫ | 正则化 | 12-regularization.ipynb | 07 - Regularisation.pdf |
| ⑬ | 贝叶斯神经网络 | 13-bayesian_nn.ipynb | 08 - Bayesian NN.pdf |
| ⑮ | Transformer 与注意力机制 | 15-transformer.ipynb | 10 - Attention & transformer.pdf |
| ⑯ | 门控图卷积网络 | 16-gated_GCN.ipynb | 11 - GCN.pdf |
表中"周次"对应 docs/it/index.md 课程表的编号;Notebook 与幻灯片文件均为仓库根目录与
slides/目录下真实存在的文件,可直接打开对照学习。课程还附带了extra/(如 extra/a-projections.ipynb、extra/optimization.ipynb)与res/(如 res/sequential_tasks.py)等补充实验素材,环境就绪后可一并探索。
常见问题与排查建议
围绕 docs/it/README-IT.md 的流程,结合仓库实际情况,汇总几条高频问题:
conda env create -f environment.yml很慢或失败:多为网络无法稳定访问conda-forge/pytorch频道所致。可先确认网络,或配置 conda 镜像加速后重试。source activate报错:新版 conda 已推荐conda activate;若提示未初始化,先执行conda init bash并重开终端。- Jupyter 中 import torch 失败:多半是当前终端没有激活
NYU-DL环境,或激活的是 base 环境。用conda env list检查当前环境。 - Windows 下命令不生效:务必在 Git Bash 中执行,且安装 Miniconda 时勾选"加入 PATH"或手动配置。
- 暗色主题未生效:GitHub dark 主题需按文档要求注释掉
invert #fff to #181818代码块;经典 Notebook 界面需确认样式插件已正确加载。
小结
本文围绕 docs/it/README-IT.md 的完整起步流程展开:从安装 Miniconda(Python ≥ 3.7)、克隆仓库、用 environment.yml 创建隔离的 NYU-DL 环境,到启动 JupyterLab / Notebook、配置暗色主题,再到进阶的本地 Jekyll 网站运行与按周次展开的 Notebook 内容地图。按此流程走完,你便拥有了一套与 NYU-DLSP20 课程完全对齐的交互式深度学习实验环境,可直接跟随 docs/it/index.md 中的课程表逐周动手实践。