MAIF/melusine项目教程：基于零样本分类的客户不满情绪检测

概述

本教程将介绍如何使用MAIF/melusine框架构建一个客户不满情绪检测系统。该系统利用预训练语言模型和零样本分类技术，能够自动识别客户邮件或消息中表达的不满情绪，无需大量标注数据进行模型训练。

技术背景

零样本分类(Zero-shot classification)是一种自然语言处理技术，它允许模型在没有特定任务训练数据的情况下进行分类。这种方法特别适合业务场景快速部署，因为不需要收集和标注大量特定领域的数据。

实现步骤

1. 创建测试数据集

首先我们需要准备一个简单的测试数据集，包含客户消息的标题和正文：

def create_dataset():
    df = pd.DataFrame(
        [
            {
                "header": "Dossier 123456",
                "body": "Merci beaucoup pour votre gentillesse et votre écoute !",
            },
            {
                "header": "Réclamation (Dossier 987654)",
                "body": "Bonjour, je ne suis pas satisfait de cette situation, répondez-moi rapidement svp!",
            },
        ]
    )
    return df

这个数据集包含两条消息：一条表达感谢(正面情绪)，另一条表达不满(负面情绪)。

2. 构建不满情绪检测器

我们创建一个继承自MelusineDetector的自定义检测器类：

class DissatisfactionDetector(MelusineDetector):
    """
    检测文本是否表达不满情绪
    """
    # 定义输出列名
    OUTPUT_RESULT_COLUMN = "dissatisfaction_result"
    TMP_DETECTION_INPUT_COLUMN = "detection_input"
    TMP_DETECTION_OUTPUT_COLUMN = "detection_output"

    # 模型推理参数
    POSITIVE_LABEL = "positif"
    NEGATIVE_LABEL = "négatif"
    HYPOTHESIS_TEMPLATE = "Ce texte est {}."

3. 实现检测流程

检测过程分为三个阶段：

预处理阶段(pre_detect)

将多个文本列合并为一个输入文本：

def pre_detect(self, row, debug_mode=False):
    effective_text = ""
    for col in self.text_columns:
        effective_text += "\n" + row[col]
    row[self.TMP_DETECTION_INPUT_COLUMN] = effective_text
    return row

检测阶段(detect)

使用零样本分类模型进行情绪分析：

def detect(self, row, debug_mode=False):
    pipeline_result = self.classifier(
        sequences=row[self.TMP_DETECTION_INPUT_COLUMN],
        candidate_labels=", ".join([self.POSITIVE_LABEL, self.NEGATIVE_LABEL]),
        hypothesis_template=self.HYPOTHESIS_TEMPLATE,
    )
    result_dict = dict(zip(pipeline_result["labels"], pipeline_result["scores"]))
    row[self.TMP_DETECTION_OUTPUT_COLUMN] = result_dict
    return row

后处理阶段(post_detect)

根据阈值判断是否为不满情绪：

def post_detect(self, row, debug_mode=False):
    if row[self.TMP_DETECTION_OUTPUT_COLUMN][self.NEGATIVE_LABEL] > self.threshold:
        row[self.OUTPUT_RESULT_COLUMN] = True
    else:
        row[self.OUTPUT_RESULT_COLUMN] = False
    return row

4. 运行检测器

最后，我们初始化检测器并应用于数据集：

def run():
    df = create_dataset()
    detector = DissatisfactionDetector(
        model_name_or_path="cmarkea/distilcamembert-base-nli",
        text_columns=["header", "body"],
        threshold=0.7,
    )
    df = detector.transform(df)
    return df

技术要点

1. 零样本分类模型：使用distilcamembert-base-nli模型，这是一个基于CamemBERT的轻量级法语自然语言推理模型。

2. 阈值设置：通过调整阈值(threshold)可以控制检测的严格程度，值越高表示对不满情绪的判定越严格。

3. 多文本列处理：可以同时处理多个文本列(如标题和正文)，将它们合并后进行分析。

4. 调试模式：支持调试模式，可以查看中间处理结果。

应用场景

这种不满情绪检测系统可以应用于：

• 客户服务自动化处理
• 社交媒体舆情监控
• 产品反馈分析
• 服务质量评估

总结

本教程展示了如何使用MAIF/melusine框架构建一个基于零样本分类的情绪检测系统。这种方法无需大量标注数据即可实现业务需求，特别适合快速部署和迭代。通过调整模型和阈值参数，可以灵活适应不同的业务场景和需求。