深入理解深度学习工作坊中的逻辑回归模型

逻辑回归是机器学习中最基础但极其重要的分类算法之一。本文将通过深度学习工作坊中的教学材料，系统性地讲解逻辑回归的核心概念、数学原理和实现细节，帮助读者建立直观理解并掌握实践技能。

逻辑回归基础概念

逻辑回归本质上是线性回归的自然扩展，专门用于二元分类问题，即区分两个类别。我们通常将一个类别标记为整数0，另一个类别标记为整数1。

与线性回归不同，逻辑回归通过引入逻辑函数（也称为sigmoid函数）将线性输出映射到(0,1)区间，从而可以解释为概率估计：

σ(z) = 1 / (1 + e^(-z))

其中z是线性模型的输出：z = w*x + b

模型可视化理解

参数影响分析

逻辑回归模型有两个关键参数：

• 权重w：控制曲线在0和1之间的陡峭程度，符号决定类别1与较大值还是较小值关联
• 偏置b：控制曲线的中点位置，负值使曲线左移，正值使曲线右移

通过交互式可视化可以直观感受参数变化对模型形状的影响：

@interact(w=FloatSlider(value=0, min=-5, max=5), 
          b=FloatSlider(value=0, min=-5, max=5))
def plot_logistic(w, b):
    x = np.linspace(-10, 10, 1000)
    z = w * x + b
    y = logistic(z)    # 应用逻辑函数
    plt.plot(x, y)

数据生成与模型训练

模拟数据生成

为了更好理解模型行为，我们首先生成模拟数据：

x = np.linspace(-5, 5, 100)
w = 2  # 真实权重
b = 1  # 真实偏置
z = w * x + b + npr.random(size=len(x))  # 添加噪声
y_true = np.round(logistic(z))  # 转换为0/1标签
plt.scatter(x, y_true, alpha=0.3)

损失函数：二元交叉熵

逻辑回归使用二元交叉熵作为损失函数，其数学表达式为：

L = -Σ[y*log(p) + (1-y)*log(1-p)]

其中：

• y是真实标签（0或1）
• p是预测概率

这个损失函数实际上是伯努利分布的负对数似然，具有以下重要性质：

• 当y=0时，第一项y*log(p)为0
• 当y=1时，第二项(1-y)*log(1-p)为0
• 当预测p接近真实标签时，损失趋近于0
• 当预测p与真实标签相反时，损失趋近于无穷大

模型实现与优化

模型定义

逻辑回归模型实现与线性回归类似，只是多了一个逻辑函数转换：

def logistic_model(theta, x):
    w, b = theta
    return logistic(w * x + b)  # 线性部分+逻辑转换

损失函数实现

def logistic_loss(params, model, x, y):
    pred = model(params, x)
    return -np.mean(y*np.log(pred) + (1-y)*np.log(1-pred))

参数优化

使用梯度下降法优化参数：

from jax import grad

# 计算梯度
dlogistic_loss = grad(logistic_loss)

# 初始化参数
theta = initialize_linear_params()  # 随机初始化w和b

# 训练循环
losses, theta = model_optimization_loop(
    theta,
    logistic_model,
    logistic_loss,
    x,
    y_true,
    n_steps=5000,
    step_size=0.0001
)

训练过程中可以监控损失值的变化，确保模型正在学习：

plt.plot(losses)  # 绘制损失曲线

模型评估与结果分析

训练完成后，我们可以可视化模型预测结果：

plt.scatter(x, y_true, alpha=0.3)  # 真实数据
plt.plot(x, logistic_model(theta, x), color='red')  # 模型预测

需要注意的是，由于数据中添加了噪声并进行了四舍五入，恢复的模型参数可能与真实值有所偏差，这是预期行为。

关键要点总结

1. 模型结构：逻辑回归 = 线性变换 + 逻辑函数

   • 矩阵形式：ŷ = g(XW + b)，其中g是逻辑函数
   • 神经网络视角：单层感知机加非线性激活

2. 损失函数：二元交叉熵，源自伯努利分布的负对数似然

3. 优化方法：与线性回归相同的梯度下降框架，只是损失函数不同

4. 模型解释：输出可以解释为类别概率，通过阈值(通常0.5)进行最终分类

理解逻辑回归的这种"线性模型+非线性转换"的模式非常重要，因为这是理解更复杂神经网络的基础。在后续的深度神经网络中，我们会看到这种模式的多次堆叠和扩展。

通过本教程，读者应该能够掌握逻辑回归的核心思想，并具备实现和优化逻辑回归模型的实践能力。建议读者尝试调整数据生成参数（如噪声水平、样本数量等），观察模型性能的变化，以加深理解。