Text-embeddings-inference项目中的Qwen3模型加载问题分析与解决方案

问题背景

在使用text-embeddings-inference项目加载Qwen3-Embedding-0.6B模型时，开发人员遇到了模型后端不健康的问题。具体表现为在模型加载过程中出现形状不匹配错误："shape mismatch in mul, lhs: [1, 1536], rhs: [1, 3072]"。

技术分析

该问题源于项目中对SwiGLU激活函数的处理方式。SwiGLU（Swish-Gated Linear Unit）是一种结合了SiLU（Sigmoid Linear Unit）激活函数和门控机制的神经网络层结构。在实现过程中，开发团队发现：

1. Candle框架内部对SiLU激活函数的实现会将输入张量分割为两半进行处理
2. 在Qwen3模型的MLP层实现中，需要正确处理这种分割行为
3. 之前的代码修改错误地将SwiGLU激活函数直接映射为SiLU，而没有考虑后续的线性投影操作

解决方案

经过技术团队深入分析，确定了以下解决方案：

1. 恢复之前的HiddenAct匹配逻辑，暂时使用SiLU处理SwiGLU激活函数
2. 确保在SiLU激活后正确进行维度投影操作
3. 在后续版本中优化对门控激活函数的统一处理方式

影响范围

该问题不仅影响Qwen3模型，还涉及以下模型系列：

• Mistral
• Qwen2
• Jina
• Jina Code

修复版本

该问题已在text-embeddings-inference项目的以下版本中修复：

• 86-sha-18b8367镜像版本
• 即将发布的1.7.2版本

额外改进

值得一提的是，社区贡献者还在此次修复中增加了对CPU的支持，这将扩大项目的适用场景，使没有GPU设备的用户也能使用这些嵌入模型。

技术建议

对于需要使用Qwen3嵌入模型的开发者，建议：

1. 使用修复后的镜像版本
2. 关注模型加载日志中的维度匹配信息
3. 对于自定义模型实现，特别注意门控激活函数的处理方式

通过这次问题的分析和解决，text-embeddings-inference项目对复杂激活函数的支持更加完善，为后续支持更多先进模型奠定了基础。