Avante.nvim 中 Gemini 模型响应截断问题的分析与解决方案

问题现象

在使用 Avante.nvim 插件集成 Gemini 模型时，用户反馈模型响应经常被意外截断，特别是在通过 OpenRouter 作为中间服务提供商时尤为明显。这种截断不仅导致内容不完整，还会破坏代码块的格式化输出，严重影响使用体验。

技术背景

Avante.nvim 是一个基于 Neovim 的 AI 代码辅助插件，支持多种 AI 模型提供商。Gemini 是 Google 开发的大语言模型系列，包括 Gemini Flash 和 Gemini Pro 等不同版本。OpenRouter 则是一个聚合了多种 AI 模型的 API 网关服务。

问题根源分析

经过技术排查，发现问题的核心在于 Avante.nvim 的 OpenAI 兼容层处理流式响应时的逻辑缺陷。具体表现为：

1. 当 Gemini 模型通过 OpenRouter 返回响应时，会在最后一个数据包中包含 finish_reason: "stop" 标记
2. 当前代码逻辑在检测到 stop 标记后立即终止处理，忽略了该数据包中可能包含的有效 content 内容
3. 这种设计导致模型响应的最后部分内容被丢弃，造成截断现象

解决方案

针对这一问题，我们提出了以下修复方案：

1. 修改响应处理逻辑：在检测到 stop 标记后，先处理当前数据包中的 content 内容，再触发终止流程
2. 增强容错处理：增加对 content 字段是否为 nil 或 vim.NIL 的检查，避免潜在错误

核心修复代码如下：

if choice.finish_reason == "stop" or choice.finish_reason == "eos_token" then
  if choice.delta.content and choice.delta.content ~= vim.NIL then 
    opts.on_chunk(choice.delta.content) 
  end
  opts.on_stop({ reason = "complete" })
end

最佳实践建议

1. 直接使用 Gemini 原生 API：对于稳定使用场景，建议直接配置 Gemini 原生提供商，而非通过 OpenRouter 中转
2. 正确配置提供商：使用 Avante.nvim 内置的 gemini 提供商类型，而非自定义 OpenAI 兼容配置
3. 参数调优：适当调整 max_tokens 参数，确保有足够的响应长度空间

示例推荐配置：

opts = {
  provider = "gemini",
  gemini = {
    api_key_name = "GEMINI_API_KEY",
    model = "gemini-2.0-flash",
  },
}

技术展望

这一问题反映了不同 AI 提供商 API 设计差异带来的兼容性挑战。未来可以考虑：

1. 增强提供商适配层，针对不同服务商实现更精细的响应处理
2. 引入响应完整性验证机制，自动检测并修复截断问题
3. 提供更完善的错误处理和调试信息，帮助用户快速定位类似问题

通过这次问题的分析和解决，我们不仅修复了当前的功能缺陷，也为插件未来的稳定性改进积累了宝贵经验。