理解Captum项目中文本特征输入的变更

在深度学习模型的可解释性领域，Captum是一个广受欢迎的工具库。近期，Captum项目对其文本特征输入相关的类名进行了重要变更，这对使用该库进行自然语言处理模型解释的研究人员和开发者产生了影响。

文本特征输入类的重构

Captum项目最近将两个关键的文本特征输入类进行了重命名：

• 原TextTemplateFeature类更名为TextTemplateInput
• 原TextTokenFeature类更名为TextTokenInput

这一变更反映了Captum团队对API设计一致性的改进，使类名更加准确地表达了其功能本质。Input后缀更明确地表明了这些类作为模型输入的特性，而非仅仅是特征表示。

变更背景与应用场景

TextTemplateInput类主要用于处理模板化的文本输入，特别适合需要填充变量占位符的场景。例如，在生成式语言模型的可解释性分析中，研究人员常常需要构建包含特定变量（如人名、地点、职业等）的模板句子，然后分析模型对这些变量的敏感度。

TextTokenInput则更专注于处理原始token化的文本输入，适用于不需要模板填充但需要对token级别特征进行解释的场景。这两个类都是Captum提供的LLM（大语言模型）可解释性工具链中的重要组成部分。

迁移建议

对于正在使用旧版本Captum或参考早期文档的研究人员，建议进行以下调整：

1. 将所有代码中的TextTemplateFeature替换为TextTemplateInput
2. 将所有代码中的TextTokenFeature替换为TextTokenInput
3. 参考Captum最新的官方教程而非过时的文档示例

实际应用示例

以分析Llama 2 7B模型为例，更新后的代码应该使用新的类名：

from captum.attr import LayerIntegratedGradients, TextTokenInput
ig = LayerIntegratedGradients(model, "model.embed_tokens")
llm_attr = LLMGradientAttribution(ig, tokenizer)
inp = TextTokenInput("示例文本内容", tokenizer)
llm_attr.attribute(inp)

对于模板化输入场景：

from captum.attr import ShapleyValueSampling, LLMAttribution, TextTemplateInput, ProductBaselines
svs = ShapleyValueSampling(model)
baselines = ProductBaselines({
    ("name", "pronoun"): [("Sarah", "Her"), ("John", "His")],
    "city": ["Seattle", "Boston"],
    "state": ["WA", "MA"],
    "occupation": ["医生", "工程师", "教师", "技术员", "水管工"],
})
llm_attr = LLMAttribution(svs, tokenizer)
inp = TextTemplateInput(
    "{name}住在{city}, {state}，职业是{occupation}。{pronoun}的个人兴趣包括",
    {"name": "张三", "city": "北京", "state": "中国", "occupation": "律师", "pronoun": "他的"},
    baselines=baselines,
)
attr_result = llm_attr.attribute(inp, target="打高尔夫、徒步和烹饪。")

总结

Captum项目对文本特征输入类的重命名体现了API设计的持续优化。这一变更虽然简单，但对保持代码库的一致性和可维护性具有重要意义。研究人员和开发者在更新代码时，应当注意这一变更，并参考最新的官方文档和教程，以确保代码的兼容性和正确性。