KeyBERT项目快速入门指南：基于BERT的关键词提取技术详解

技术背景

KeyBERT是一个基于BERT模型的关键词提取工具，它利用预训练语言模型的强大语义理解能力，从文档中提取最具代表性的关键词和关键短语。与传统的TF-IDF、TextRank等方法相比，KeyBERT能够更好地理解上下文语义关系，提取出与文档主题高度相关的关键词。

安装指南

KeyBERT可以通过Python包管理器轻松安装：

pip install keybert

根据不同的NLP后端需求，可以选择安装额外的依赖项：

# 安装Flair后端支持
pip install keybert[flair]

# 安装Gensim后端支持
pip install keybert[gensim]

# 安装SpaCy后端支持
pip install keybert[spacy]

# 安装USE(Universal Sentence Encoder)后端支持
pip install keybert[use]

基础使用示例

基本关键词提取

以下是一个最简单的使用示例，展示如何从一段文本中提取关键词：

from keybert import KeyBERT

# 示例文档
doc = """
监督学习是一种机器学习任务，它通过学习从输入到输出的映射函数，
基于示例输入-输出对进行训练。它从一组标记的训练数据中推断出函数。
在监督学习中，每个示例都是由输入对象(通常是向量)和期望的输出值
(也称为监督信号)组成的对。监督学习算法分析训练数据并产生推断函数，
该函数可用于映射新示例。理想情况下，算法能够正确确定未见实例的类标签。
这要求学习算法以"合理"的方式从训练数据泛化到未见情况。
"""

# 初始化KeyBERT模型
kw_model = KeyBERT()

# 提取关键词
keywords = kw_model.extract_keywords(doc)
print(keywords)

关键词长度控制

通过keyphrase_ngram_range参数可以控制提取关键词的长度：

# 提取单个词的关键词
single_words = kw_model.extract_keywords(doc, keyphrase_ngram_range=(1, 1))
print(single_words)

# 提取1-2个词的关键短语
keyphrases = kw_model.extract_keywords(doc, keyphrase_ngram_range=(1, 2))
print(keyphrases)

关键词高亮显示

KeyBERT支持直接在文档中高亮显示提取的关键词：

keywords = kw_model.extract_keywords(doc, highlight=True)

高级功能详解

1. 结果多样化处理

当提取的关键词过于相似时，可以使用以下两种方法增加多样性：

最大和距离(Max Sum Distance)

diverse_keywords = kw_model.extract_keywords(
    doc,
    keyphrase_ngram_range=(3, 3),
    use_maxsum=True,
    nr_candidates=20,
    top_n=5
)

最大边际相关性(Maximal Marginal Relevance, MMR)

# 高多样性结果
high_diversity = kw_model.extract_keywords(
    doc,
    use_mmr=True,
    diversity=0.7
)

# 低多样性结果
low_diversity = kw_model.extract_keywords(
    doc,
    use_mmr=True,
    diversity=0.2
)

2. 自定义候选关键词

可以使用其他算法生成候选关键词，然后通过KeyBERT进行筛选：

import yake
from keybert import KeyBERT

# 使用YAKE生成候选关键词
kw_extractor = yake.KeywordExtractor(top=50)
candidates = [kw[0] for kw in kw_extractor.extract_keywords(doc)]

# 使用KeyBERT筛选最佳关键词
kw_model = KeyBERT()
keywords = kw_model.extract_keywords(doc, candidates=candidates)

3. 引导式关键词提取

当需要提取特定领域或主题的关键词时，可以使用引导式关键词提取：

# 定义种子关键词
seed_keywords = ["机器学习", "监督信号"]

# 提取与种子关键词相关的关键词
guided_keywords = kw_model.extract_keywords(
    doc,
    seed_keywords=seed_keywords
)

4. 预计算嵌入向量

对于大型数据集，可以预先计算嵌入向量以提高效率：

# 预计算文档和词的嵌入向量
doc_embeddings, word_embeddings = kw_model.extract_embeddings(docs)

# 使用预计算的嵌入向量提取关键词
keywords = kw_model.extract_keywords(
    docs,
    doc_embeddings=doc_embeddings,
    word_embeddings=word_embeddings
)

最佳实践建议

1. 模型选择：对于英文文档推荐使用all-MiniLM-L6-v2模型，多语言文档推荐paraphrase-multilingual-MiniLM-L12-v2模型。

2. 参数调优：

   • 调整keyphrase_ngram_range控制关键词长度
   • 使用diversity参数平衡结果的相关性和多样性
   • 对于专业领域文本，适当增加top_n值

3. 性能优化：

   • 处理长文档时考虑分段处理
   • 批量处理时使用预计算嵌入向量
   • 根据需求选择合适的NLP后端

KeyBERT作为基于BERT的关键词提取工具，结合了深度学习模型的语义理解能力和传统关键词提取方法的实用性，为文本分析任务提供了强大的支持。通过合理配置参数和使用高级功能，可以满足各种复杂场景下的关键词提取需求。