【亲测免费】 BERTopic：利用BERT和c-TF-IDF创建易于解释的主题

简介

BERTopic 是一种先进的主题建模技术，结合了 BERT 和 c-TF-IDF 方法，旨在创建易于理解和解释的主题。通过使用 BERT 进行语义嵌入和 c-TF-IDF 进行特征提取，BERTopic 能够生成密集的主题集群，保留主题描述中的重要词汇，从而使主题更加清晰和易于理解。此外，BERTopic 还支持类似于 LDAvis 的可视化功能，帮助用户更直观地理解主题分布。

安装指南

要安装 BERTopic，请使用以下命令：

pip install bertopic

如果需要使用可视化功能，请安装包含可视化选项的 BERTopic：

pip install bertopic[visualization]

安装注意事项

• 推荐使用 PyTorch 1.4.0 或更高版本。
• 如果在安装过程中遇到错误，请首先安装 PyTorch。

快速入门

以下是一个简单的示例，展示如何使用 BERTopic 从著名的 20 个新闻组数据集中提取主题。该数据集包含大量英文文档。

from bertopic import BERTopic
from sklearn.datasets import fetch_20newsgroups

# 加载数据集
docs = fetch_20newsgroups(subset='all', remove=('headers', 'footers', 'quotes'))

# 创建 BERTopic 模型并拟合数据
topic_model = BERTopic()
topics, _ = topic_model.fit_transform(docs.data)

# 查看生成的主题
print(topic_model.get_topic_info())

详细文档

要深入了解 BERTopic 的功能和使用方法，请查看完整的文档。文档中包含了详细的 API 参考、示例代码以及常见问题解答。

示例笔记本

您还可以通过 Google Colab 笔记本进一步探索 BERTopic 的功能。笔记本中提供了更多示例和详细的操作步骤，帮助您快速上手。

贡献与反馈

如果您在使用 BERTopic 过程中遇到任何问题或有任何建议，欢迎通过 GitHub 仓库提交问题或贡献代码。我们非常欢迎社区的参与和反馈，共同改进 BERTopic。

许可证

BERTopic 采用开源许可证，具体信息请查看 LICENSE 文件。