BERTopic主题建模中设置主题词数量的技术解析

问题背景

在使用BERTopic进行主题建模时，用户经常需要控制每个主题显示的关键词数量。默认情况下，BERTopic会为每个主题显示10个最具代表性的词语。但在实际应用中，研究人员可能需要获取更多关键词以深入分析主题内容。

核心问题

当用户尝试通过设置top_n_words参数来增加每个主题显示的关键词数量时，发现无论如何调整该参数，系统仍然只返回10个关键词。这一现象与预期不符，需要深入理解BERTopic的内部工作机制才能解决。

技术原理

BERTopic的主题词生成过程实际上分为两个阶段：

1. 初始候选词生成：由top_n_words参数控制，确定从主题中提取的初始候选词数量
2. 多样性筛选：通过表示模型（如MMR）对候选词进行筛选，确保最终输出的词语具有足够的多样性

关键发现

问题的根源在于BERTopic的表示模型MaximalMarginalRelevance(MMR)默认只输出10个最具代表性的词语。即使BERTopic主模型生成了更多候选词，MMR模型仍会将其过滤为10个。

解决方案

要正确设置每个主题显示的关键词数量，需要同时调整两个参数：

1. BERTopic初始化时的top_n_words参数
2. MMR模型初始化时的top_n_words参数

from bertopic.representation import MaximalMarginalRelevance
from bertopic import BERTopic

# 设置MMR模型，输出15个关键词
representation_model = MaximalMarginalRelevance(diversity=0.1, top_n_words=15)

# 初始化BERTopic，候选词数量需大于MMR的输出数量
topic_model = BERTopic(
    representation_model=representation_model,
    top_n_words=30  # 必须大于MMR的top_n_words
)

参数关系说明

• BERTopic.top_n_words：控制初始候选词数量，应大于MMR的输出数量
• MMR.top_n_words：控制最终输出的关键词数量
• diversity：控制输出词语的多样性程度（0-1之间）

最佳实践建议

1. 如果需要15个主题词，建议将BERTopic的top_n_words设为20-30，为MMR提供足够的候选词
2. 多样性参数diversity通常设置在0.1-0.3之间，过高可能导致重要关键词被过滤
3. 对于专业领域文本分析，可适当增加输出关键词数量（如20个）以捕捉更多细节

总结

BERTopic的主题词生成是一个多阶段过程，理解其内部机制对于正确配置参数至关重要。通过合理设置BERTopic和MMR模型的参数，研究人员可以灵活控制每个主题显示的关键词数量和多样性，从而获得更符合需求的主题分析结果。这一技术细节的掌握将大大提升使用BERTopic进行文本挖掘的效果。