Text-Generation-Inference项目中Llama 3.3 70B模型输出异常问题分析

问题背景

在Text-Generation-Inference（TGI）3.0.1版本环境下，部署Llama 3.3 70B模型时遇到了输出异常问题。该问题表现为在高负载场景下，模型会输出重复的乱码内容，且随着时间推移情况会恶化，需要重启容器才能暂时解决。

环境配置

问题发生在Kubernetes集群部署环境中，硬件配置为：

• 4块NVIDIA A100 80GB GPU
• 12核CPU和32GB内存

TGI服务配置了以下关键参数：

• 最大预填充token数设为4096
• 使用bfloat16数据类型
• 启用了4个进程的模型分片

问题现象

在运行ETL任务时，系统会向TGI的generate端点发送大量并发请求（15个线程，27个请求），其中部分请求的输入token数高达37051个。在这种高负载场景下，模型会出现以下异常行为：

1. 输出内容变为无意义的重复字符组合
2. 异常输出会影响后续请求，即使简单查询也会返回乱码
3. 问题会随时间累积，只有重启容器才能暂时解决

典型的错误输出示例为大量重复的"and"、"is"、"not"等单词的无意义组合。

问题根源

经过分析，该问题与TGI的prefix caching机制有关。在高并发、大输入token数的场景下，prefix caching可能会出现边缘情况导致缓存损坏，进而影响模型输出的质量。

解决方案

TGI团队在3.1.1版本中修复了两个prefix caching的边缘情况问题。升级到该版本后，经过数周的验证，确认问题已得到解决。

对于使用自定义Docker镜像的用户，需要注意3.1.1版本的一个变化：Python解释器现在安装在/root/.local目录下。如果使用非root用户运行容器，需要确保该用户有访问该目录的权限。可以通过以下方式解决：

RUN chmod 555 /root

最佳实践建议

1. 对于生产环境中的Llama 3.3 70B模型部署，建议使用TGI 3.1.1或更高版本
2. 在高并发场景下，合理设置max_batch_prefill_tokens参数
3. 使用非root用户运行容器时，确保正确处理/root目录的权限
4. 监控模型输出质量，及时发现可能的缓存问题

总结

Text-Generation-Inference作为大模型推理的重要工具，其稳定性和可靠性对生产环境至关重要。通过及时更新版本和合理配置，可以有效避免类似Llama 3.3 70B输出异常的问题，确保模型服务的稳定运行。