LMDeploy部署GLM4-9b-chat模型时的上下文长度配置问题解析

问题背景

在使用LMDeploy 0.6.5版本部署GLM4-9b-chat大语言模型时，开发者遇到了一个关于上下文长度限制的问题。当尝试发送超长提示词时，服务返回了异常响应，提示token数量超出限制。

问题现象

开发者启动服务时使用了以下命令：

lmdeploy serve api_server --server-name 0.0.0.0 --server-port 8000 --backend turbomind --dtype auto --tp 1 --cache-max-entry-count 0.3 --model-name glm-4-9b-chat --disable-fastapi-docs --log-level INFO /models/glm-4-9b-chat

当发送包含大量重复内容（"Hello, who are you?"重复10000次）的请求时，服务返回了异常结果：

{
  "id": "382",
  "object": "chat.completion",
  "created": 1736934145,
  "model": "glm-4-9b-chat",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "",
      "tool_calls": null
    },
    "logprobs": null,
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 60008,
    "total_tokens": 4035,
    "completion_tokens": -55973
  }
}

问题分析

从日志中可以发现关键错误信息：

[TM][WARNING] [RejectInvalidRequests] Skipping invalid infer request for id 382, code = 6
[TM][WARNING] [forward] Request failed for 382, code 6

这表明请求因为某种原因被拒绝，错误代码6通常与输入长度超出限制有关。进一步分析发现，GLM4-9b-chat模型默认的上下文长度设置可能不足以处理如此长的输入。

解决方案

经过深入排查，发现可以通过配置session-len参数来调整最大上下文token数量。这个参数控制着模型能够处理的最大上下文长度，对于处理长文本输入至关重要。

正确的做法是在启动服务时明确设置合适的session-len值，例如：

lmdeploy serve api_server ... --session-len 32768 ...

技术建议

1. 合理设置上下文长度：根据模型能力和实际应用场景，设置适当的session-len值。GLM4-9b-chat模型支持较大的上下文窗口，但需要显式配置。

2. 输入预处理：在实际应用中，建议对输入文本进行预处理，确保其长度不超过模型限制，避免服务拒绝请求。

3. 资源监控：增大上下文长度会增加显存消耗，需要监控GPU资源使用情况，确保不会因内存不足导致服务不稳定。

4. 性能权衡：更大的上下文窗口意味着更高的计算开销，需要在模型能力和响应速度之间找到平衡点。

总结

在使用LMDeploy部署大语言模型时，正确配置上下文长度参数是确保服务稳定运行的关键。通过合理设置session-len参数，可以充分发挥模型处理长文本的能力，同时避免因输入过长导致的请求拒绝问题。开发者应根据实际应用需求和硬件资源情况，找到最优的配置方案。