Xan项目中的词汇共现统计方法优化：从Chi2到G2检验

在文本挖掘和自然语言处理领域，词汇共现分析是一项基础而重要的技术。Xan项目作为文本分析工具，近期对其词汇共现统计模块进行了重要升级，引入了更全面的统计检验方法，包括完整的卡方检验(Chi2)和似然比检验(G2)。

传统卡方检验的局限性

在早期版本中，Xan项目仅实现了简化的卡方检验计算，仅考虑了观察值大于期望值的情况。这种方法虽然计算简单，但在统计学上不够严谨，可能导致某些有意义的共现关系被忽略。

简化版卡方检验公式为：

χ² = (观察值 - 期望值)² / 期望值

这种简化计算只适用于单侧检验，且忽略了共现矩阵中其他单元格的信息。

完整卡方检验的实现

升级后的版本实现了完整的2×2列联表卡方检验，考虑了共现关系的四种可能情况：

1. 两个词同时出现(观察值11)
2. 第一个词出现而第二个词不出现(观察值12)
3. 第二个词出现而第一个词不出现(观察值21)
4. 两个词都不出现(观察值22)

完整卡方检验的计算公式为：

χ² = Σ(观察值ij - 期望值ij)² / 期望值ij

其中期望值的计算基于词汇独立假设，即：

期望值11 = (词A频次 × 词B频次) / 总窗口数
期望值12 = (词A频次 × 非词B频次) / 总窗口数
期望值21 = (非词A频次 × 词B频次) / 总窗口数
期望值22 = (非词A频次 × 非词B频次) / 总窗口数

似然比检验(G2)的引入

除了卡方检验，Xan项目还实现了似然比检验(G2)，这是一种基于信息论的统计方法，特别适用于稀疏数据。G2检验的计算公式为：

G2 = 2 × Σ[观察值 × ln(观察值/期望值)]

G2检验与卡方检验渐近等价，但在小样本情况下表现更好。Xan项目中的实现同样考虑了完整的2×2列联表。

分布相似性度量

Xan项目还实现了一种基于G2检验的分布相似性度量方法。该方法首先通过G2检验筛选出显著性关联(通常设定p<0.05，对应G2≥3.84)，然后计算两个词的邻居分布相似度：

相似度 = 共同邻居的最小G2值之和 / (词A邻居G2值之和 - AB对的G2值)

这种方法不仅考虑了两个词的直接共现关系，还考虑了它们在上下文中的分布相似性，能够发现更丰富的语义关联。

实现细节与优化

在具体实现上，Xan项目进行了多项优化：

1. 避免重复计算：预先计算并缓存每个词的总共现频次
2. 条件过滤：只处理不同词对间的共现关系
3. 显著性阈值：对G2检验结果应用统计显著性阈值
4. 数值稳定性：处理零频次和极小期望值的情况

这些统计方法的改进使Xan项目能够更准确地捕捉词汇间的语义关系，为下游任务如主题建模、词向量构建等提供了更可靠的基础。特别是完整卡方检验和G2检验的引入，使得系统能够处理各种不同分布特性的文本数据，提高了分析的鲁棒性。