DGL 节点分类与节点回归实战:从 GraphSAGE 到异构图 RGCN 的完整训练指南
DGL 节点分类与节点回归实战:从 GraphSAGE 到异构图 RGCN 的完整训练指南
本篇技术指南以 DGL(Deep Graph Library)官方用户指南中的节点分类章节为核心,系统讲解如何在 DGL 中为同构图与异构图搭建图神经网络、编写训练与评估循环,完成节点分类(Node Classification)与节点回归(Node Regression)任务。你将掌握 SAGEConv 与 HeteroGraphConv 的底层原理与参数细节、基于内置数据集 CiteseerGraphDataset 的完整训练流程,以及仓库中 GraphSAGE 与 RGCN 端到端示例的运行方式。
任务概览:什么是节点分类与节点回归
节点分类是图神经网络最流行、应用最广泛的任务之一:训练集、验证集与测试集中的每个节点,都被赋予一个来自预定义类别集合的真实类别(Ground Truth Category)。例如在引文网络中,节点代表论文、边代表引用关系,任务就是预测每篇论文所属的研究领域。节点回归与之类似,区别在于每个节点的监督信号从离散类别变为一个连续数值。
无论是分类还是回归,核心机制都基于消息传递(Message Passing):图神经网络不仅利用节点自身的特征,还会聚合邻居节点以及边的特征来更新节点表示。通过将消息传递重复多轮,网络可以逐步融入更大范围邻域的信息——第一轮只聚合一跳邻居,第二轮就能覆盖两跳范围内的信息,依此类推。这一机制在 DGL 中对应 update_all 等 API,其详细设计可参见 消息传递指南。
编写神经网络模型:堆叠图卷积模块
DGL 提供了若干内置图卷积模块,每个模块完成一轮消息传递。本节以 dgl.nn.pytorch.SAGEConv(GraphSAGE 图卷积模块,同时提供 MXNet 与 TensorFlow 后端版本)为例,讲解如何将其堆叠成多层 GNN。
通常,图上的深度学习模型需要多层结构以进行多轮消息传递。以下代码构造了一个两层的 GraphSAGE 模型:
# 构造一个两层 GNN 模型
import dgl.nn as dglnn
import torch.nn as nn
import torch.nn.functional as F
class SAGE(nn.Module):
def __init__(self, in_feats, hid_feats, out_feats):
super().__init__()
self.conv1 = dglnn.SAGEConv(
in_feats=in_feats, out_feats=hid_feats, aggregator_type='mean')
self.conv2 = dglnn.SAGEConv(
in_feats=hid_feats, out_feats=out_feats, aggregator_type='mean')
def forward(self, graph, inputs):
# inputs 是节点的特征
h = self.conv1(graph, inputs)
h = F.relu(h)
h = self.conv2(graph, h)
return h
需要注意,该模型不仅能用于节点分类,其输出的隐藏节点表示同样可以复用于其他下游任务,例如边分类、链接预测或图分类。
SAGEConv 的源码级参数解析
结合 SAGEConv 实现,SAGEConv 的核心参数如下:
| 参数 | 含义 | 默认值/可选值 |
|---|---|---|
in_feats |
输入特征维度;也可传入 (src_feats, dst_feats) 元组以支持单向二分图,此时分别指定源节点与目标节点特征维度 |
必填 |
out_feats |
输出特征维度 | 必填 |
aggregator_type |
聚合器类型,实现中通过 valid_aggre_types = {"mean", "gcn", "pool", "lstm"} 校验,非法值会抛出 DGLError |
mean / gcn / pool / lstm,必填 |
feat_drop |
特征上的 Dropout 比例,对应 nn.Dropout(feat_drop) |
0.0 |
bias |
输出是否包含可学习偏置项 | True |
norm |
可选的归一化层(如 nn.BatchNorm1d),作用于更新后的节点特征 |
None |
activation |
可选的激活函数,作用于更新后的节点特征 | None |
关于四种聚合器,源码展示了各自的消息传递细节:
mean:将邻居特征取均值聚合(fn.mean("m", "neigh")),再与自身特征经fc_self线性变换后的结果相加;gcn:将自身与邻居求和后除以(入度 + 1)做归一化(见degs.unsqueeze(-1) + 1),相当于 GCN 的归一化方案,且要求源、目标节点特征维度相同(check_eq_shape(feat)校验),该模式下没有独立的fc_self;pool:先用fc_pool对源特征做线性变换并接 ReLU,再对邻居做max池化;lstm:将邻居特征按序输入 LSTM(self.lstm),取最后时刻的隐状态作为邻居聚合结果。
实现中还包含一个可读性强的优化细节:当 in_feats > out_feats 时(lin_before_mp = self._in_src_feats > self._out_feats),会把线性变换放到消息传递之前执行,即 A(XW) 而非 (AX)W,以减少聚合阶段的计算量。此外,对于无边图(graph.num_edges() == 0)也有特殊处理,邻居聚合结果会被置为零张量,避免程序崩溃。参数初始化采用 Glorot/Xavier 均匀分布初始化(reset_parameters 中使用 xavier_uniform_),这也是 SAGEConv 开箱即可稳定训练的原因之一。
内置图卷积模块的完整列表可参考 DGL API 文档中 nn 部分,更深入的 DGL 神经网络模块工作机制与自定义消息传递模块的写法,参见 DGL 神经网络模块指南。
训练循环:基于内置数据集的完整流程
在全图上训练只需一次模型前向传播,然后对比训练节点上的预测与真实标签计算损失即可。本节以 DGL 内置数据集 dgl.data.CiteseerGraphDataset 演示训练循环。
数据集与数据拆分
Citeseer 引文网络数据集的节点特征与标签存储在图的 ndata 上,训练/验证/测试集划分也以布尔掩码(mask)形式存放在图上,这与数据管线章节(见 数据处理指南)中的做法一致。从 citation_graph.py 实现 可以看到该数据集的完整统计信息:节点 3327、边 9228、类别数 6,划分比例为训练 120、验证 500、测试 1000,且特征经过行归一化(row-normalize)。
从图中取出特征、标签与划分掩码:
node_features = graph.ndata['feat']
node_labels = graph.ndata['label']
train_mask = graph.ndata['train_mask']
valid_mask = graph.ndata['val_mask']
test_mask = graph.ndata['test_mask']
n_features = node_features.shape[1]
n_labels = int(node_labels.max().item() + 1)
需要注意的是,DGL 内置数据集在加载后会自动构造 train_mask、val_mask、test_mask、feat、label 这几项节点数据(g.ndata),因此上述代码可以直接运行。
定义评估函数
以下是一个基于准确率(Accuracy)的评估函数。它在 torch.no_grad() 下进行前向传播,仅对被掩码选中的节点计算预测正确率:
def evaluate(model, graph, features, labels, mask):
model.eval()
with torch.no_grad():
logits = model(graph, features)
logits = logits[mask]
labels = labels[mask]
_, indices = torch.max(logits, dim=1)
correct = torch.sum(indices == labels)
return correct.item() * 1.0 / len(labels)
完整的训练循环
有了模型、数据与评估函数,训练循环本身非常直观:前向传播得到全图所有节点的 logits,仅用 train_mask 选中的节点计算交叉熵损失,然后反向传播更新参数,并在每个 epoch 后通过 evaluate 在验证集上监测泛化表现:
model = SAGE(in_feats=n_features, hid_feats=100, out_feats=n_labels)
opt = torch.optim.Adam(model.parameters())
for epoch in range(10):
model.train()
# 使用所有节点进行前向传播
logits = model(graph, node_features)
# 计算损失
loss = F.cross_entropy(logits[train_mask], node_labels[train_mask])
# 计算验证集准确率
acc = evaluate(model, graph, node_features, node_labels, valid_mask)
# 反向传播
opt.zero_grad()
loss.backward()
opt.step()
print(loss.item())
# 如有需要可在此保存模型,本示例省略
这里采用了 F.cross_entropy 处理多分类;若做节点回归任务,只需将损失函数替换为均方误差(如 F.mse_loss),并把最后一层输出维度设为 1 即可。
端到端示例:GraphSAGE 全图训练
仓库中的 examples/pytorch/graphsage/train_full.py 提供了同构图节点分类的端到端示例,是上述流程的完整工程化版本,可作为直接运行参考。相比指南中的最小示例,它额外包含以下实战要点:
- 通过
argparse支持--dataset参数(cora、citeseer、pubmed)与--dt数据类型参数(float、bfloat16,后者需将图与模型一并转为 bfloat16); - 数据集加载时使用
AddSelfLoop()变换,默认先移除已存在的自环再添加,避免重复自环; - 模型封装在
SAGE类中,使用nn.ModuleList管理可变层数,层间插入 ReLU 激活与nn.Dropout(0.5); - 优化器采用
torch.optim.Adam(model.parameters(), lr=1e-2, weight_decay=5e-4),训练 200 个 epoch; - 支持 CUDA 加速(
torch.device("cuda" if torch.cuda.is_available() else "cpu"),并将图g.int().to(device)); - 训练结束后在
test_mask上报告最终测试准确率。
该示例中的 SAGE 类实现了可调整层数、Dropout 概率,以及可自定义聚合函数与非线性激活的结构,正是指南所描述的“可调参 GraphSAGE”的参考实现。
异构图节点分类:HeteroGraphConv 与 RGCN
当图是异构图(含有多种节点类型与边类型)时,你可能希望沿所有边类型从邻居收集消息。DGL 提供的 dgl.nn.pytorch.HeteroGraphConv(同样支持 MXNet 与 TensorFlow 后端)可以在所有边类型上执行消息传递,并对每种边类型使用不同的图卷积模块,最后将结果聚合。
以下代码定义了一个异构图卷积模块:先对每种边类型独立执行一次图卷积,再将各边类型的消息聚合结果求和,作为所有节点类型的最终输出——这正是关系图卷积网络(RGCN)的基本结构:
# 定义 HeteroGraphConv 模型
class RGCN(nn.Module):
def __init__(self, in_feats, hid_feats, out_feats, rel_names):
super().__init__()
self.conv1 = dglnn.HeteroGraphConv({
rel: dglnn.GraphConv(in_feats, hid_feats)
for rel in rel_names}, aggregate='sum')
self.conv2 = dglnn.HeteroGraphConv({
rel: dglnn.GraphConv(hid_feats, out_feats)
for rel in rel_names}, aggregate='sum')
def forward(self, graph, inputs):
# inputs 是节点特征
h = self.conv1(graph, inputs)
h = {k: F.relu(v) for k, v in h.items()}
h = self.conv2(graph, h)
return h
HeteroGraphConv 的源码级行为
从 hetero.py 实现 可以确认 HeteroGraphConv 的输入输出约定:它接收一个节点类型到特征张量的字典作为输入,返回同样结构的节点类型到新特征的字典。其内部伪代码如下:
outputs = {nty : [] for nty in g.dsttypes}
# 并行地在各关联关系图上调用子模块
for relation in g.canonical_etypes:
stype, etype, dtype = relation
dstdata = relation_submodule(g[relation], ...)
outputs[dtype].append(dstdata)
# 对每个目标节点类型聚合结果
for ntype, ntype_outputs in outputs.items():
rsts[ntype] = aggregate(ntype_outputs)
关于聚合参数 aggregate,源码支持 'sum'、'max'、'min'、'mean'、'stack' 五种字符串取值(非法值触发 DGLError),其中 'stack' 沿第二维堆叠,且顺序确定;也支持传入自定义可调用对象,例如用 torch.stack 加 torch.sum 实现求和聚合。此外,构造函数会对每个子模块调用 set_allow_zero_in_degree(True),因为异构图中不存在通用的自环添加规则,必须允许零入度节点存在,这保证了实体分类这类稀疏监督场景下的鲁棒性。
异构图的输入构造与前向传播
基于异构图示例中已有的 user 与 item 特征,可以构造模型并直接前向传播:
model = RGCN(n_hetero_features, 20, n_user_classes, hetero_graph.etypes)
user_feats = hetero_graph.nodes['user'].data['feature']
item_feats = hetero_graph.nodes['item'].data['feature']
labels = hetero_graph.nodes['user'].data['label']
train_mask = hetero_graph.nodes['user'].data['train_mask']
前向传播时,将各节点类型的特征组成字典传入:
node_features = {'user': user_feats, 'item': item_feats}
h_dict = model(hetero_graph, {'user': user_feats, 'item': item_feats})
h_user = h_dict['user']
h_item = h_dict['item']
异构图的训练循环
异构图训练循环与同构图基本一致,区别仅在于模型输出是一个节点表示字典,从中提取目标节点类型(例如 user)的表示来计算预测与损失:
opt = torch.optim.Adam(model.parameters())
for epoch in range(5):
model.train()
# 使用所有节点前向传播并提取 user 节点嵌入
logits = model(hetero_graph, node_features)['user']
# 计算损失
loss = F.cross_entropy(logits[train_mask], labels[train_mask])
# 计算验证集准确率,本示例省略
# 反向传播
opt.zero_grad()
loss.backward()
opt.step()
print(loss.item())
# 如有需要可在此保存模型,本示例省略
端到端示例:RGCN 实体分类
DGL 仓库提供了完整的异构图节点分类示例 examples/pytorch/rgcn-hetero/entity_classify.py,可对 aifb、mutag、bgs、am 等知识图谱数据集执行实体分类。其中异构图卷积的定义位于 examples/pytorch/rgcn-hetero/model.py 的 RelGraphConvLayer 类中,其实现要点包括:
- 内部使用
dglnn.HeteroGraphConv,为每种关系类型分配一个关闭偏置与归一化的GraphConv(norm="right", weight=False, bias=False); - 支持
num_bases基分解(basis decomposition):当num_bases < len(rel_names)时,通过dglnn.WeightBasis以少量基矩阵线性组合出各关系的权重,显著降低参数量; - 可选
self_loop参数,将自身特征作为一条特殊关系纳入消息传递(对应命令行参数--use-self-loop); - 训练脚本通过
argparse暴露--n-hidden(隐藏单元数,默认 16)、--n-layers(传播轮数,默认 2)、--n-bases(基矩阵数,默认 -1 表示使用全部)、--dropout、--lr(默认 1e-2)、--l2norm、--n-epochs(默认 50)等超参数,并支持--gpu指定 CUDA 设备;验证集默认从训练集中划出前 1/5 作为--validation模式。
小结与实践建议
回顾本文核心内容:节点分类与回归是 GNN 最基本也最典型的任务,其完整技术栈包括——用 SAGEConv 等内置模块堆叠多层图卷积以扩大感受野;用 CiteseerGraphDataset 等内置数据集自带的 feat、label 与三种 mask 组织数据;用全图前向传播加 F.cross_entropy(分类)或 F.mse_loss(回归)完成训练;面对异构图时则以 HeteroGraphConv 按边类型分别卷积再聚合,实现 RGCN 式的实体分类。
实战中值得注意的经验包括:为模型配置 feat_drop、norm、activation 等正则化手段;对引文类小数据集使用 AddSelfLoop 变换增强自身信息;在边类型众多时优先采用 RGCN 的基分解(num_bases)压缩参数。若图规模较大、无法整图训练,则可进一步参考仓库中的小批量采样相关指南(docs/source/guide/minibatch-node.rst),将本文的全图训练范式扩展为基于邻居采样的分布式训练。