SGLang项目中使用Torch Compile模式服务DeepSeek V3模型的问题分析

问题背景

在SGLang项目中使用DeepSeek V3模型时，当启用Torch Compile模式(--enable-torch-compile)时，模型输出会出现异常。具体表现为生成内容不连贯、包含大量重复字符和特殊符号，如"111HHHHHHHHHHHHHHHH0.bb2. 111HHHHHH0"等无意义文本。

环境配置

该问题出现在以下环境中：

• PyTorch 2.6.0
• CUDA 12.6
• SGLang 0.4.5
• 使用8路张量并行(TP=8)
• 两种注意力后端(Flashinfer和FA3)均出现相同问题

现象对比

当不启用Torch Compile时，模型能够正常生成连贯、有意义的文本内容。例如生成关于FastAPI服务器的示例代码，包含完整的CRUD操作实现，输出质量良好。

而启用Torch Compile后，模型输出完全不可用，表现为：

1. 文本不连贯
2. 包含大量重复字符
3. 出现特殊符号组合
4. 完全失去语义完整性

可能原因分析

1. 模型架构兼容性问题：DeepSeek V3可能使用了某些特殊操作或自定义层，这些在Torch Compile模式下无法正确编译。

2. 张量并行与编译冲突：在8路张量并行环境下，模型计算图可能变得过于复杂，导致编译过程出错。

3. 内存管理问题：虽然设置了静态内存分数(--mem-fraction-static 0.8)，但编译模式可能改变了内存分配策略。

4. CUDA图兼容性：启用了CUDA图(--cuda-graph-max-bs 2)可能与Torch Compile产生冲突。

解决方案

目前确认的解决方案是避免在该模型上使用Torch Compile模式。具体操作：

• 移除--enable-torch-compile参数
• 保持其他参数不变

技术建议

对于希望使用编译优化提升性能的用户，可以考虑：

1. 等待SGLang或PyTorch的后续版本更新
2. 尝试降低张量并行度进行测试
3. 检查是否有特定版本的PyTorch能更好地支持该模型
4. 考虑使用其他优化手段替代Torch Compile

总结

在SGLang项目中服务DeepSeek V3模型时，目前不建议启用Torch Compile模式。开发团队可能需要进一步调查该模型架构与PyTorch编译器的兼容性问题。用户应关注项目更新，以获取未来可能的修复方案。