D2L-KO项目中的微积分基础教程

引言：从多边形面积到微积分

微积分的发展可以追溯到2500年前的古希腊时期，当时数学家们通过将多边形分割成三角形并求和来计算多边形面积。对于圆形等曲线形状的面积计算，古希腊人采用了内接多边形逼近的方法，这种方法被称为"穷竭法"。

这种方法实际上就是积分学的雏形。2000多年后，微积分的另一个分支——微分学被发明出来。在深度学习中，微分学在优化问题中扮演着关键角色。

深度学习中的微积分

在深度学习中，我们通过不断更新模型参数来最小化损失函数。这个过程涉及两个核心问题：

1. 优化：调整模型参数以更好地拟合观测数据
2. 泛化：确保模型在未见数据上也能表现良好

理解微分学对于掌握深度学习优化算法至关重要，因为大多数优化算法都依赖于计算导数。

导数基础

导数的定义

对于函数f: ℝ → ℝ，其在点x处的导数定义为：

f'(x) = lim_{h→0} [f(x+h) - f(x)]/h

如果这个极限存在，我们说f在x处可导。导数表示函数在某一点的瞬时变化率。

导数计算示例

考虑函数u = f(x) = 3x² - 4x，我们可以通过数值方法近似计算其在x=1处的导数：

def numerical_lim(f, x, h):
    return (f(x + h) - f(x)) / h

h = 0.1
for i in range(5):
    print(f'h={h:.5f}, numerical limit={numerical_lim(f, 1, h):.5f}')
    h *= 0.1

随着h趋近于0，计算结果趋近于2，这与解析解一致。

导数规则

常用的导数计算规则包括：

• 常数规则：DC = 0
• 幂规则：Dxⁿ = nxⁿ⁻¹
• 指数规则：Deˣ = eˣ
• 对数规则：Dln(x) = 1/x

以及组合函数的求导规则：

• 常数倍规则
• 加法规则
• 乘法规则
• 除法规则

应用这些规则，我们可以解析地求出f(x) = 3x² - 4x的导数为f'(x) = 6x - 4。

导数可视化

我们可以使用Python的matplotlib库绘制函数及其切线：

x = np.arange(0, 3, 0.1)
plot(x, [f(x), 2 * x - 3], 'x', 'f(x)', legend=['f(x)', 'Tangent line (x=1)'])

这个可视化展示了函数在x=1处的切线，其斜率正好等于该点的导数值2。

多元函数的偏导数

在深度学习中，我们经常需要处理多元函数。对于y = f(x₁, x₂, ..., xₙ)，我们定义关于第i个变量的偏导数为：

∂y/∂xᵢ = lim_{h→0} [f(x₁,...,xᵢ+h,...,xₙ) - f(x₁,...,xᵢ,...,xₙ)]/h

计算偏导数时，只需将其他变量视为常数。

梯度

梯度是多元函数对所有变量的偏导数组成的向量：

∇ₓf(x) = [∂f/∂x₁, ∂f/∂x₂, ..., ∂f/∂xₙ]ᵀ

梯度在深度学习的优化算法中至关重要，因为它指向函数值增长最快的方向。

链式法则

链式法则允许我们对复合函数进行微分。对于单变量函数y=f(u)和u=g(x)，链式法则为：

dy/dx = dy/du * du/dx

对于多元函数，链式法则更为复杂。假设y依赖于u₁,u₂,...,uₘ，而每个uᵢ又依赖于x₁,x₂,...,xₙ，那么：

∂y/∂xᵢ = Σ (∂y/∂uⱼ)(∂uⱼ/∂xᵢ)

这个规则在反向传播算法中起着核心作用。

总结

1. 微分学是深度学习优化问题的基础
2. 导数表示函数在某点的瞬时变化率，也是切线的斜率
3. 梯度是多元函数偏导数组成的向量
4. 链式法则使我们能够对复合函数进行微分

练习

1. 绘制函数y = x³ - 1/x及其在x=1处的切线
2. 计算函数f(x) = 3x₁² + 5eˣ²的梯度
3. 求函数f(x) = ||x||₂的梯度
4. 写出u = f(x,y,z)且x=x(a,b), y=y(a,b), z=z(a,b)情况下的链式法则

通过掌握这些微积分基础知识，我们为理解深度学习中的优化算法奠定了坚实的数学基础。