FastChat项目中不同模型生成Embedding的兼容性问题分析

背景介绍

FastChat作为一个开源的大语言模型服务框架，支持多种模型部署和API调用。在实际使用过程中，用户发现不同模型在生成Embedding时存在兼容性差异。本文将从技术角度分析这一现象的原因和解决方案。

问题现象

在使用FastChat的Embedding API时，部分模型如Llama-2-13b-chat-hf和Qwen1.5-14B-Chat能够正常返回Embedding向量，而Mixtral-MoE、Wizardcoder和Qwen1.5-72B-Chat等模型则会返回"Not Found"错误。值得注意的是，这些模型都能被正常列出，且推理功能正常。

技术原因分析

经过深入研究发现，这种差异主要源于模型部署方式的不同：

1. 后端引擎差异：能够正常生成Embedding的模型使用的是FastChat原生的model_worker部署方式，而出现问题的模型则是通过vllm或sglang等优化引擎部署的。

2. 功能支持度：vllm和sglang等优化引擎主要专注于推理性能优化，目前尚未实现Embedding生成功能。FastChat原生model_worker则完整支持这一功能。

3. 模型架构适配：某些特定架构的模型（如标准Mistral）即使使用model_worker部署，其生成的Embedding质量也可能不理想，这与模型本身的训练目标和架构设计有关。

解决方案建议

针对这一问题，我们建议采取以下解决方案：

1. 部署方式选择：对于需要Embedding功能的场景，建议使用FastChat原生model_worker部署模型。虽然推理速度可能略慢于vllm/sglang，但功能更加完整。

2. 专用Embedding模型：推荐使用专门针对Embedding任务优化的模型，如GritLM（基于Mistral/Mixtral微调的Embedding专用模型），这些模型生成的Embedding质量更高。

3. 性能权衡：如果同时需要高性能推理和Embedding功能，可以考虑：

   • 对性能要求高的API使用sglang部署
   • 对Embedding需求使用model_worker部署
   • 采用混合部署架构

技术展望

随着大模型技术的发展，我们预期：

1. vllm/sglang等优化引擎未来可能会加入Embedding支持
2. 更多专用Embedding模型将出现，解决通用LLM在Embedding任务上的不足
3. FastChat框架可能会提供更统一的API抽象，屏蔽后端引擎差异

总结

FastChat项目中不同模型在Embedding功能上的表现差异，反映了当前大模型服务生态中功能完整性与性能优化之间的权衡。开发者需要根据实际需求选择合适的部署方式和模型类型，在功能与性能之间取得平衡。随着技术发展，这一问题有望得到更好的解决。