Hakaru概率编程语言示例解析：高斯混合模型与LDA主题模型实现

前言

Hakaru是一种声明式概率编程语言，专为构建和操作概率模型而设计。本文将通过两个经典的概率模型示例——高斯混合模型(GMM)和潜在狄利克雷分配(LDA)模型，来展示Hakaru语言的强大表达能力。这些示例不仅展示了概率编程的核心理念，也体现了Hakaru语言的简洁性和数学美感。

高斯混合模型实现

高斯混合模型是一种常用的聚类算法，可以看作是K-means算法的概率扩展版本。在Hakaru中，我们可以用以下方式实现：

预备知识：狄利克雷分布

在构建模型前，我们需要先定义一些辅助函数，特别是狄利克雷分布的生成函数：

def add(a prob, b prob):
    a + b

def sum(a array(prob)):
    reduce(add, 0, a)

def normalize(x array(prob)):
    total = sum(x)
    array i of size(x):
       x[i] / total

def dirichlet(as array(prob)):
    xs <~ plate i of int2nat(size(as)-1):
            beta(summate j from i+1 to size(as): as[j],
                 as[i])
    return array i of size(as):
             x = product j from 0 to i: xs[j]
             x * if i+1==size(as): 1 else: real2prob(1-xs[i])

这段代码定义了概率加法、数组求和、归一化等基本操作，以及如何从beta分布构造狄利克雷分布。

模型定义

K = 5  # 聚类数量
N = 20 # 数据点数量

# 聚类选择先验概率
pi  <~ dirichlet(array _ of K: 1)
# 每个聚类的均值和精度先验
mu  <~ plate _ of K:
         normal(0, 5e-9)
tau <~ plate _ of K:
         gamma(2, 0.05)
# 观测数据生成过程
x   <~ plate _ of N:
         i <~ categorical(pi)
         normal(mu[i], tau[i])

return (x, mu). pair(array(real), array(real))

这个模型清晰地表达了高斯混合模型的生成过程：

1. 首先确定每个聚类被选择的先验概率(π)
2. 为每个聚类生成均值(μ)和精度(τ)参数
3. 对每个数据点，先选择一个聚类，然后从该聚类对应的高斯分布中生成数据

潜在狄利克雷分配(LDA)模型实现

LDA是一种广泛使用的主题模型，用于发现文档集合中的潜在主题结构。

模型参数设置

K = 2 # 主题数量
M = 3 # 文档数量
V = 7 # 词汇表大小

# 每篇文档的词数
doc = [4, 5, 3]

topic_prior = array _ of K: 1.0
word_prior  = array _ of V: 1.0

这里我们设置了模型的基本参数：2个主题，3篇文档，7个单词的词汇表，以及每篇文档的词数。

模型定义

phi <~ plate _ of K:     # 主题k的词分布
         dirichlet(word_prior)

# 生成过程
z   <~ plate m of M:
         theta <~ dirichlet(topic_prior)
         plate _ of doc[m]: # 文档m中每个词的主题标记
           categorical(theta)

w   <~ plate m of M: # 对于文档m
         plate n of doc[m]: # 对于文档m中的词n
           categorical(phi[z[m][n]])

return (w, z)

这个模型表达了LDA的核心思想：

1. 对每个主题，生成一个词分布(φ)
2. 对每篇文档：
   • 生成一个主题分布(θ)
   • 为文档中的每个词选择一个主题(z)
   • 根据选择的主题生成实际的词(w)

技术要点解析

1. 概率编程范式：Hakaru使用声明式语法描述概率模型，代码直接对应模型的数学表达式

2. 随机变量表示：<~符号表示从分布中采样，清晰地分离了确定性计算和随机性部分

3. 模块化设计：通过预定义分布生成函数(如dirichlet)，提高了代码复用性

4. 数组操作：plate结构提供了简洁的数组/矩阵操作方式，适合处理多维概率分布

5. 类型系统：显式的概率类型(prob)和数组类型(array)增强了代码的可读性和安全性

实际应用建议

1. 对于高斯混合模型，可以调整K值来探索数据的最佳聚类数量

2. 在LDA模型中，可以通过增加主题数量K来发现更细粒度的主题结构

3. 两个模型都可以通过Hakaru的推理算法进行参数学习和后验推断

4. 实际应用中，建议先在小规模数据上测试模型，再逐步扩展到完整数据集

总结

通过这两个示例，我们看到了Hakaru如何优雅地表达复杂的概率模型。其数学友好的语法使得从模型设计到实现的过程变得直观而高效。无论是无监督学习中的聚类问题，还是文本分析中的主题建模，Hakaru都提供了强大的建模能力。

对于想要深入概率编程的开发者，理解这些基础模型的Hakaru实现是迈向更复杂概率建模的重要一步。