Intel Extension for Transformers中Qwen-14B-Chat模型推理重复问题分析

在Intel Extension for Transformers项目中使用Qwen-14B-Chat模型进行推理时，开发者可能会遇到输出重复的问题。本文将从技术角度深入分析这一现象的原因，并提供多种解决方案。

问题现象

当使用Qwen-14B-Chat模型进行多轮对话推理时，前两个问题能够正常输出，但从第三个问题开始，模型输出会出现明显的重复现象。这种重复不仅限于回答内容，有时甚至会重复提示词本身。

原因分析

1. 模型固有特性：大型语言模型本身存在一定的重复倾向，特别是在生成长文本时
2. 量化配置影响：当使用int8计算精度时，模型输出稳定性可能受到影响
3. 生成参数设置：默认的生成参数可能不适合特定场景下的对话需求
4. 提示模板格式：不恰当的提示模板格式可能导致模型理解偏差

解决方案

1. 调整生成参数

在调用generate API时，建议设置以下参数：

outputs = model.generate(
    inputs,
    do_sample=True,  # 启用随机采样
    repetition_penalty=1.2,  # 适当增加重复惩罚
    top_k=50,  # 扩大候选词范围
    max_new_tokens=300  # 根据需求调整生成长度
)

2. 优化量化配置

在加载模型时，可以调整WOQ(Weight Only Quantization)配置：

from intel_extension_for_transformers.transformers import WeightOnlyQuantConfig
woq_config = WeightOnlyQuantConfig(
    compute_dtype="bf16",  # 将计算精度从int8改为bf16
    weight_dtype="int4"    # 保持权重量化为int4
)

3. 模型特定提示模板

对于不同模型，需要采用正确的提示模板格式：

• Qwen系列模型需要特定的对话格式
• Baichuan模型则不需要额外添加提示模板

4. 其他优化技巧

• 适当降低temperature值(0.7-0.9)
• 使用top_p采样替代top_k(0.9-0.95)
• 对于长文本生成，可以分段处理

最佳实践建议

1. 对于对话场景，建议先使用默认参数测试模型行为
2. 出现重复时，优先调整repetition_penalty和top_k参数
3. 量化模型建议使用bf16计算精度以获得更好的稳定性
4. 多轮对话时注意维护正确的对话历史格式

通过以上方法，开发者可以有效缓解Qwen-14B-Chat模型在Intel Extension for Transformers中的输出重复问题，获得更稳定、自然的对话体验。