首页
/ Text-embeddings-inference项目中的Qwen3模型加载问题分析与解决方案

Text-embeddings-inference项目中的Qwen3模型加载问题分析与解决方案

2025-06-24 10:14:02作者:劳婵绚Shirley

问题背景

在使用text-embeddings-inference项目加载Qwen3-Embedding-0.6B模型时,开发人员遇到了模型后端不健康的问题。具体表现为在模型加载过程中出现形状不匹配错误:"shape mismatch in mul, lhs: [1, 1536], rhs: [1, 3072]"。

技术分析

该问题源于项目中对SwiGLU激活函数的处理方式。SwiGLU(Swish-Gated Linear Unit)是一种结合了SiLU(Sigmoid Linear Unit)激活函数和门控机制的神经网络层结构。在实现过程中,开发团队发现:

  1. Candle框架内部对SiLU激活函数的实现会将输入张量分割为两半进行处理
  2. 在Qwen3模型的MLP层实现中,需要正确处理这种分割行为
  3. 之前的代码修改错误地将SwiGLU激活函数直接映射为SiLU,而没有考虑后续的线性投影操作

解决方案

经过技术团队深入分析,确定了以下解决方案:

  1. 恢复之前的HiddenAct匹配逻辑,暂时使用SiLU处理SwiGLU激活函数
  2. 确保在SiLU激活后正确进行维度投影操作
  3. 在后续版本中优化对门控激活函数的统一处理方式

影响范围

该问题不仅影响Qwen3模型,还涉及以下模型系列:

  • Mistral
  • Qwen2
  • Jina
  • Jina Code

修复版本

该问题已在text-embeddings-inference项目的以下版本中修复:

  • 86-sha-18b8367镜像版本
  • 即将发布的1.7.2版本

额外改进

值得一提的是,社区贡献者还在此次修复中增加了对CPU的支持,这将扩大项目的适用场景,使没有GPU设备的用户也能使用这些嵌入模型。

技术建议

对于需要使用Qwen3嵌入模型的开发者,建议:

  1. 使用修复后的镜像版本
  2. 关注模型加载日志中的维度匹配信息
  3. 对于自定义模型实现,特别注意门控激活函数的处理方式

通过这次问题的分析和解决,text-embeddings-inference项目对复杂激活函数的支持更加完善,为后续支持更多先进模型奠定了基础。

登录后查看全文
热门项目推荐
相关项目推荐