Spring AI项目中使用OpenAiChatModel访问vLLM部署的deepseek模型报错分析

问题背景

在Spring AI项目(spring-projects-experimental/spring-ai)中，开发者尝试通过OpenAiChatModel访问由vLLM框架部署的deepseek模型时遇到了HTTP 400错误。这个问题引起了多位开发者的共鸣，表明这是一个较为普遍的现象。

错误现象

开发者在使用Spring Boot 3.4.3和JDK 17环境下，配合spring-ai-openai-spring-boot-starter(1.0.0-M6)时，虽然确认了base-url、api-key和model参数都正确配置且能通过普通HTTP请求正常访问，但使用OpenAiChatModel时仍然报错。

错误信息显示为：

400 - {"object":"error","message":"[{'type': 'missing', 'loc': ('body',), 'msg': 'Field required', 'input': None}]","type":"BadRequestError","param":null,"code":400}

问题分析

从错误信息来看，服务端(vLLM)表示请求体中缺少必要的字段。多位开发者尝试了不同的解决方案：

1. 直接使用ChatModel接口或ChatClient接口都会出现相同错误
2. 更换HTTP客户端(如使用Jetty客户端替代默认客户端)对部分开发者有效
3. 有开发者指出vLLM可能无法正确处理分块(chunked)HTTP请求

技术深度解析

这个问题本质上源于vLLM服务端与Spring AI客户端之间的协议不兼容。具体表现为：

1. 请求体格式问题：vLLM期望的请求体格式与OpenAI API规范不完全一致，导致字段缺失错误
2. HTTP传输问题：vLLM对分块传输编码的支持可能不完善，而Spring默认的HTTP客户端可能使用了这种编码方式
3. 客户端适配问题：Spring AI的OpenAiChatModel是针对标准OpenAI API设计的，与vLLM的API实现存在差异

解决方案

开发者提供了几种可能的解决方案：

1. 更换HTTP客户端：使用Jetty客户端替代默认客户端

OpenAiApi openAiApi = OpenAiApi.builder()
    .baseUrl(chatConfig.getBaseUrl())
    .apiKey(chatConfig.getApiKey())
    .restClientBuilder(RestClient.builder().requestFactory(new JettyClientHttpRequestFactory()))
    .webClientBuilder(WebClient.builder().clientConnector(new JettyClientHttpConnector()))
    .build();

2. 添加必要依赖：

<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-client</artifactId>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-reactive-httpclient</artifactId>
</dependency>

3. 等待vLLM修复：这个问题本质上属于vLLM框架的兼容性问题，需要vLLM项目方进行修复

总结

这个问题展示了在AI模型服务化过程中常见的协议兼容性挑战。虽然通过更换HTTP客户端可以临时解决问题，但长期来看需要服务端(vLLM)和客户端(Spring AI)在API规范上达成更好的兼容性。对于开发者而言，在集成不同技术栈时需要特别注意协议兼容性问题，必要时可以通过中间适配层来解决协议差异。

Spring AI项目团队已将此问题标记为vLLM相关的问题，建议开发者关注vLLM项目的更新以获取根本性解决方案。