深入理解Word2Vec：从原理到实践

引言

在自然语言处理(NLP)领域，如何有效地表示单词一直是核心问题之一。传统的one-hot编码虽然简单，但存在诸多限制。本文将深入探讨Word2Vec这一革命性的词嵌入技术，它通过将单词映射到低维连续向量空间，成功捕捉了单词之间的语义和语法关系。

传统方法的局限性

One-hot编码的缺陷

one-hot编码是表示单词最直观的方式：对于大小为N的词表，每个单词用一个长度为N的向量表示，其中对应单词索引的位置为1，其余为0。例如：

• "猫" = [1, 0, 0, ..., 0]
• "狗" = [0, 1, 0, ..., 0]
• "动物" = [0, 0, 1, ..., 0]

主要问题：

1. 维度灾难：词表增大时，向量维度急剧增加
2. 语义缺失：所有向量相互正交，无法表达单词间关系
3. 计算效率低：高维稀疏向量计算成本高

余弦相似度的启示

在向量空间中，我们常用余弦相似度衡量向量间的相似性：

cos(θ) = (x·y) / (||x||·||y||)

对于one-hot向量，任意两个不同单词的余弦相似度始终为0，这与现实语言中单词之间存在各种关系的事实相矛盾。

Word2Vec的突破

Word2Vec通过将单词映射到低维连续空间(通常50-300维)，使得语义相似的单词在向量空间中距离相近。它基于一个关键假设：出现在相似上下文中的单词往往具有相似含义。

两种模型架构

Word2Vec包含两种主要模型：

1. Skip-gram模型：通过中心词预测上下文词
2. CBOW模型：通过上下文词预测中心词

这两种模型都是自监督学习模型，不需要人工标注数据。

Skip-gram模型详解

模型原理

Skip-gram模型假设给定中心词，可以预测其周围的上下文词。例如，在句子"The quick brown fox jumps"中，以"brown"为中心词(窗口大小=2)时，模型学习预测["quick", "fox"]的概率。

数学表达： P(context_words | center_word) = Π P(w_o | w_c)

其中w_o是上下文词，w_c是中心词。

向量表示

每个单词有两个向量表示：

• v：作为中心词时的向量
• u：作为上下文词时的向量

条件概率通过softmax计算： P(w_o | w_c) = exp(u_o·v_c) / Σ exp(u_i·v_c)

训练过程

通过最大化似然函数(等价于最小化负对数似然)来训练模型。梯度计算涉及整个词表，这在大型词表上计算代价很高，因此实践中常采用负采样或层次softmax等优化技术。

CBOW模型详解

模型原理

Continuous Bag-of-Words(CBOW)模型与Skip-gram相反，它通过上下文词预测中心词。例如，给定["The", "cat", "on", "mat"]预测"sat"。

数学表达： P(center_word | context_words)

上下文词向量先进行平均，再计算条件概率。

与Skip-gram的对比

1. 计算效率：CBOW训练通常更快
2. 低频词表现：Skip-gram对低频词处理更好
3. 应用场景：CBOW更适合小型数据集，Skip-gram适合大型数据集

实际应用中的考量

优化技巧

1. 负采样：只更新少数负例而非整个词表
2. 层次softmax：使用霍夫曼树加速计算
3. 子采样：平衡高频词和低频词的影响

超参数选择

1. 向量维度：通常50-300维
2. 窗口大小：一般5-10
3. 学习率：初始值0.025，随训练递减

词向量的特性

训练得到的词向量展现出一些有趣特性：

1. 线性关系：如"king" - "man" + "woman" ≈ "queen"
2. 聚类效应：相似词在空间中聚集
3. 跨语言对齐：不同语言的相似概念在向量空间中对齐

总结

Word2Vec通过简单的神经网络架构，成功地将单词映射到有意义的低维空间。它的核心思想"相似上下文→相似含义"启发了后续众多词嵌入方法。虽然现在有更先进的模型如BERT，但Word2Vec因其简单高效仍在许多场景中被广泛使用。

理解Word2Vec不仅对掌握词嵌入技术至关重要，也为理解现代NLP模型的发展奠定了基础。在实际应用中，根据任务特点和数据规模选择合适的模型架构和参数，才能发挥Word2Vec的最大效用。