Ollama-JS 中实现请求取消的优雅方案

在基于 JavaScript 的 AI 应用开发中，处理长时间运行的模型生成请求时，用户取消操作是一个常见需求。Ollama-JS 作为连接 Ollama 模型的 JavaScript 客户端库，其最新版本(v0.4.6)提供了原生的请求取消支持，这为开发者带来了更优雅的中断控制方案。

传统方案的问题

早期开发者尝试使用 AsyncGenerator 的 return() 方法来中断请求，但这会导致服务端资源无法正确释放，表现为：

• Ollama 服务进程冻结
• 后续请求被阻塞
• 需要手动重启服务恢复

这种方案本质上没有正确终止底层 HTTP 请求，只是中断了客户端的迭代器。

现代解决方案：AbortController

Ollama-JS 现在基于 Web 标准的 AbortController 实现了真正的请求取消机制。该方案的核心优势包括：

1. 原子性中断：直接终止底层 fetch 请求
2. 资源安全：确保服务端及时释放计算资源
3. 链式反应：取消信号会传播到所有相关操作

实现模式

典型的使用模式如下：

const controller = new AbortController();

// 启动生成请求
const response = ollama.chat({
  model: 'llama2',
  messages: [...],
  signal: controller.signal // 传入中止信号
});

// 用户触发取消时
controller.abort();

最佳实践建议

1. 及时清理：在组件卸载或页面离开时主动取消未完成请求
2. 错误处理：捕获 AbortError 与其他错误类型区分处理
3. 状态恢复：取消后确保UI状态正确重置
4. 节流控制：避免频繁取消/重新请求导致的资源抖动

底层原理

当调用 abort() 时：

1. 触发 Fetch API 的中止机制
2. 服务端收到 TCP RST 包
3. Ollama 服务终止当前模型推理
4. 释放 GPU/CPU 计算资源
5. 客户端收到 AbortError

这种实现方式相比纯客户端的生成器中断，实现了真正的端到端取消，是符合现代 Web 开发规范的解决方案。

总结

Ollama-JS 的请求取消支持为构建响应式 AI 应用提供了关键基础能力。开发者现在可以安全地实现：

• 用户主动取消
• 超时自动取消
• 条件性中断等高级控制流

这大大提升了 Web 端 AI 应用的交互体验和资源利用率。