PyTorch基础教程：从张量操作到计算图理解

2025-06-19 14:02:34作者：史锋燃Gardner

前言

PyTorch作为当前最流行的深度学习框架之一，以其灵活的动态计算图和直观的API设计赢得了广大研究者和开发者的青睐。本教程将系统性地介绍PyTorch的核心基础概念，帮助初学者快速掌握这一强大工具。

1. PyTorch张量基础

1.1 张量简介

张量(Tensor)是PyTorch中最基本的数据结构，可以理解为多维数组的扩展。与NumPy数组类似，但具有额外的特性：

支持GPU加速计算
内置自动微分功能
丰富的操作API

import torch
print(f"PyTorch版本: {torch.__version__}")

1.2 张量创建方法

PyTorch提供了多种创建张量的方式：

# 从Python列表创建
x = torch.tensor([1, 2, 3, 4])

# 创建特定类型的张量
float_tensor = torch.tensor([1.0, 2.0, 3.0], dtype=torch.float32)

# 初始化特定形状的张量
zeros = torch.zeros(3, 4)  # 全0张量
ones = torch.ones(2, 3)    # 全1张量
rand = torch.rand(2, 2)    # 均匀分布随机数
randn = torch.randn(2, 2)  # 标准正态分布随机数

# 创建序列张量
range_tensor = torch.arange(0, 10, step=1)
linspace = torch.linspace(0, 1, steps=5)

1.3 张量属性

每个张量都有以下重要属性：

x = torch.randn(3, 4, 5)
print(f"形状: {x.shape}")      # 张量维度
print(f"数据类型: {x.dtype}")  # 元素类型
print(f"存储设备: {x.device}") # CPU/GPU

2. 张量操作详解

2.1 基本数学运算

PyTorch支持各种数学运算：

a = torch.tensor([1, 2, 3])
b = torch.tensor([4, 5, 6])

# 基本运算
print(a + b)  # 加法
print(a * b)  # 元素乘法
print(a @ b)  # 点积

# 原地操作(会修改原张量)
c = torch.tensor([1, 2, 3])
c.add_(b)  # 注意下划线后缀

2.2 矩阵运算

对于矩阵操作，PyTorch提供了专业支持：

A = torch.tensor([[1, 2], [3, 4]])
B = torch.tensor([[5, 6], [7, 8]])

# 矩阵乘法
print(torch.matmul(A, B))
print(A @ B)  # 运算符形式

# 矩阵转置
print(A.t())

# 行列式和逆矩阵
print(torch.det(A.float()))
print(torch.inverse(A.float()))

2.3 张量变形

改变张量形状是常见操作：

x = torch.tensor([[1, 2, 3], [4, 5, 6]])

# 改变形状
print(x.reshape(3, 2))  # 重新排列
print(x.view(6, 1))     # 视图(共享内存)
print(x.flatten())      # 展平为一维

# 维度操作
y = torch.tensor([[[1], [2]]])
print(y.squeeze())      # 去除长度为1的维度
print(torch.unsqueeze(x, 0))  # 增加维度

3. 自动微分与计算图

3.1 基本概念

PyTorch的核心特性之一是自动微分：

# 创建需要计算梯度的张量
x = torch.tensor(2.0, requires_grad=True)
y = torch.tensor(3.0, requires_grad=True)

# 构建计算图
z = x**2 + y**3

# 计算梯度
z.backward()

# 查看梯度
print(x.grad)  # dz/dx = 2x = 4
print(y.grad)  # dz/dy = 3y² = 27

3.2 梯度累积机制

PyTorch会累积梯度，这在某些场景很有用：

x.grad.zero_()  # 清空梯度

# 多次反向传播
z = x**2 + y**3
z.backward()
print(x.grad)  # 4

z = x**2 + y**3
z.backward()
print(x.grad)  # 8 (4+4)

4. 实用技巧与集成

4.1 与NumPy互操作

PyTorch与NumPy可以无缝转换：

import numpy as np

# NumPy转PyTorch
np_array = np.array([1, 2, 3])
tensor = torch.from_numpy(np_array)

# PyTorch转NumPy
tensor = torch.tensor([4, 5, 6])
np_array = tensor.numpy()

# 注意：某些情况下会共享内存
np_array[0] = 5  # 会同时修改tensor的值

4.2 GPU加速

利用GPU可以显著加速计算：

# 检查GPU可用性
if torch.cuda.is_available():
    device = torch.device("cuda")
    x_gpu = torch.tensor([1, 2, 3], device=device)
    x_cpu = x_gpu.cpu()  # 移回CPU
else:
    print("GPU不可用")

5. 可视化示例

通过可视化理解函数与梯度的关系：

x = torch.linspace(-3, 3, 100, requires_grad=True)
y = x**2

# 计算各点梯度
gradients = []
for xi in x:
    xi.backward(retain_graph=True)
    gradients.append(x.grad.item())
    x.grad.zero_()

# 绘图展示函数与导数关系
import matplotlib.pyplot as plt
plt.plot(x.detach(), y.detach(), label="f(x)=x²")
plt.plot(x.detach(), gradients, label="f'(x)=2x")
plt.legend()
plt.show()