GPT4All Node.js 退出后 GPU 占用仍然偏高是什么原因（model.dispose）？

用 GPT4All 的 Node.js 绑定（npm 包 gpt4all）跑完一次推理，Node.js 进程已经退出，但任务管理器里 GPU 占用仍然偏高——这是绑定文档"Known Issues"一节明确列出的现象。文档给出的原因是：没有调用 model.dispose()，导致原生模型对象没有被删除和清理，GPU 资源随之滞留。这篇排障文章说明如何定位这个遗漏，以及把 model.dispose() 放到哪些位置。

确认现象属于哪一类问题

GPT4All TypeScript 绑定的 README 在 Known Issues 中列出了三个常见问题，先区分你遇到的是哪一个，避免误诊：

现象	文档给出的对应原因
模型输出乱码（"spewing bull 💩"）	下载的模型文件损坏，重新安装或从官方站点重新下载
调用 generateTokens 之后卡住	nPast 设置过高可能导致模型挂起（文档记录环境：Linux Mint、Ubuntu 22.04，03/16/2024）
Node.js 退出后 GPU 占用仍然偏高	Make sure to call model.dispose()!!!

只有第三行才是本文处理的问题。如果你的症状是卡住或输出异常，属于另外两条路径，不要往 dispose() 上找。

原因：dispose() 是手动调用，进程退出不会替你清理

loadModel 加载模型后返回的是 InferenceModel（推理模型）或 EmbeddingModel（嵌入模型）实例，底层持有原生资源。这两个类都定义了 dispose()，API 声明文件 gpt4all.d.ts 中对其注释为：

/**
 * delete and cleanup the native model
 */
dispose(): void;

也就是说，释放 GPU 上模型占用的唯一途径是显式调用 dispose()，它返回 void、同步执行；文档中没有任何自动清理机制的说明。Node.js 进程结束时，若模型对象没有被 dispose，GPU 占用就不会随之归还。

在哪里调用 dispose()

仓库的示例代码（README 的 API Examples 与 spec 目录下的脚本）给出了统一的写法：每个 loadModel 创建的模型对象，在用完之后调用一次 model.dispose()。

基本流程以流式生成为例（摘自 README "Streaming responses" 示例，模型名替换成你实际使用的 .gguf 文件）：

import { loadModel, createCompletionStream } from "gpt4all";

const model = await loadModel("mistral-7b-openorca.gguf2.Q4_0.gguf", {
    device: "gpu",
});

const stream = createCompletionStream(model, "How are you?");
stream.tokens.on("data", (data) => {
    process.stdout.write(data);
});
// wait till stream finishes. We cannot continue until this one is done.
await stream.result;
process.stdout.write("\n");
model.dispose();

要点：

• device: "gpu" 这类 GPU 推理路径下尤其不能省略 dispose()——文档中该问题就是针对 GPU 占用描述的。
• 先 await 生成完成（stream.result 或 completion 的 Promise），再调用 model.dispose()，不要在有进行中的生成时释放模型。
• 无聊天会话（stateless）用法、嵌入模型同样如此。例如 spec/streaming.mjs 与 spec/embed.mjs 的脚本末尾都调用了 model.dispose()。

中途切换模型时：旧模型必须显式释放

如果程序在一次运行中加载多个模型（比如换模型继续对话），spec/model-switching.mjs 展示了文档给出的模式：加载并用完第一个模型后先 dispose()，再加载下一个，结束时把第二个也释放：

const model1 = await loadModel("Nous-Hermes-2-Mistral-7B-DPO.Q4_0.gguf", {
    device: "gpu",
    nCtx: 4096,
});
// ... 使用 model1 完成若干轮对话 ...
model1.dispose();

const model2 = await loadModel("gpt4all-falcon-newbpe-q4_0.gguf", {
    device: "gpu",
});
// ... 使用 model2 ...
model2.dispose();

漏掉第一个 model1.dispose() 时，切换模型会叠加占用而不是替换占用，这与"退出后 GPU 占用偏高"是同一个根因。

验证方式

文档没有给出固定的 GPU 占用数值阈值，验证方式就是对照 Known Issues 中的现象描述：

1. 在脚本正常结束（含 model.dispose()）后，退出 Node.js 进程；
2. 观察 GPU 占用：按文档的预期，进程退出后占用应回到正常水平，不再维持高位。

如果调用 dispose() 后问题依旧，说明不在文档已知问题的范围内——文档只把"未调用 model.dispose()"列为该项的解决方案，没有提供进一步排查步骤。此时不要再往 nPast、模型文件损坏等另外两条 Known Issue 上套，需要结合具体环境另行排查。

环境前提

• Node.js >= 18.0.0（package.json 中 engines.node 为 >= 18.x.x，README 开发要求同样标注 node.js >= 18.0.0）；
• 通过 npm install gpt4all@latest（或 yarn/pnpm）安装后按上述方式使用；
• Windows 和 Linux 上构建 GPT4All 需要完整的 Vulkan SDK（macOS 使用 Metal，不需要 Vulkan），这只影响从源码构建的场景，直接安装 npm 包不受此约束。

一句话收尾：dispose() 不是可选项，是 GPT4All Node.js 绑定的手动资源管理约定。凡是由 loadModel 创建的模型对象——推理模型、嵌入模型、切换过的每一个旧实例——在推理结束、进程退出前都要各调用一次，GPU 占用偏高的问题就消除了。