LIME 上下文管理揭秘：AI 输入法为什么连续输入几小时也不卡顿

LIME 是一款大模型驱动的拼音输入法：它把小型语言模型（Qwen3-0.6B）放在本地服务器上，用你的拼音来"引导"模型预测下一个词，联想能力不输传统大厂输入法。但大模型要"懂"你想说什么，就必须记住你已经打过的内容——这套"记忆"机制正是 LIME 上下文管理的核心：在模型固定的上下文窗口（默认 4096 tokens）里，靠两级上下文裁剪 + 异步计算，让连续输入几小时也不卡顿、不爆窗。

🧠 为什么"记忆"是 AI 输入法的性能隐患

传统输入法的词库是静态文件，怎么敲都快；而 LIME 这类 AI 输入法每次确认文字都会把文本回喂给模型，带来三个矛盾：

矛盾	说明
窗口有限	模型上下文窗口固定为 4096 tokens（见 main.ts 的 contextSize 配置）
上下文只增不减	每提交一段文字，上下文就变长，推理耗时随之上涨
按键要求毫秒级响应	用户不可能为一次模型计算干等

放任不管，结果只有两种：窗口溢出报错，或者越打越卡。LIME 的答案是一套精细的上下文管理策略，全部实现在引擎核心 main.ts 中。

🛡️ 两级裁剪：快速删 + 空闲压缩

LIME 为上下文准备了两个"水位线"（默认值，见 main.ts 与 main.ts）：

参数	默认值	触发时机	作用
max_count	4032 tokens	每次按键（运行时）	快速裁剪，保证不爆窗
smallerMaxCount	约 3600 tokens	空闲时	后台压缩到约 2900 tokens

第一级：快速裁剪（fastTryOmitContext）

处理每一次按键请求前，LIME 先检查上下文长度，一旦超过 max_count（4096 预留 64 个 token 的安全余量），立即切掉最旧的一段。这个操作只是内存中的区间删除，速度极快，所以它敢在每次按键的热路径上执行——这是"怎么敲都不卡"的第一道保险。

源码位置：main.ts

第二级：空闲 10 秒才做的"大扫除"

快速裁剪只是把上下文"剪短"，模型的内部状态并不会因此变小。彻底重算状态很昂贵，所以 LIME 采用防抖（deBounce）策略：每次按键都会重置计时器，只有当你真正停下来超过 10 秒，才在后台执行 tryOmitContext：

1. 把当前上下文还原成纯文本，再重新分词；
2. 只保留最近的约 2900 个 token，把上下文"瘦身"；
3. 后台重新计算模型状态，供下一轮输入直接使用。

源码位置：main.ts，防抖器实现见 main.ts。

关键细节：这个大扫除会先获取 modelEvalLock 锁（main.ts），与按键请求的模型计算串行互斥——你打字时它绝不打扰，它干活时按键请求会自动排队，两者互不干扰。

⚡ 异步 commit：按键从不等模型

真正让按键"零等待"的，是确认文字（commit）阶段的异步设计。当你选中一个词确认后（main.ts）：

• 同步路径瞬间返回：接口立刻应答，前端毫无感知；
• 耗时的模型计算放到后台异步执行：把已提交文本写入上下文，并预先算好"下一个 token 的概率分布表"（last_result）；
• 下一次按键只做查表：按键请求（single_ci）拿着拼音在这张预计算的概率表里做快速匹配（main.ts），不需要重新跑模型推理。

也就是说，模型的重计算与用户的按键被彻底解耦：你在打下一句时，模型已经在后台把上一句"消化"完了。

📖 初始上下文：一句"主题多样"的提示

LIME 启动时会往上下文里写入初始提示词 下面的内容主题多样（main.ts），并通过 init_ctx 完成预热（main.ts）。这句提示告诉模型：接下来是主题不断切换的连续文本流，避免联想被上一个话题"带偏"。

🧪 自己动手：查看与操作 LIME 的上下文

想亲眼看看 LIME 记住了什么？服务器内置了现成的界面和接口：

• 上下文查看页：执行 deno run install_interface 和 deno run build_interface 构建前端后，浏览器打开 http://127.0.0.1:5000/context.html，即可一键查看当前上下文，还能粘贴任意文本做"学习文本"，直接注入模型的上下文（见 interface/context.html 与 interface/src/context.ts）；
• 学习文本接口：POST /learntext，等价于提交一大段文本让模型"读过"（server.ts）；
• 用户数据接口：GET /api/userdata，返回当前上下文的每个 token 和用户词表（server.ts）；
• 输入统计：GET /inputlog 返回按键间隔、选词耗时等数据，可以用来算出自己的实际打字速度（server.ts）。

📌 小结：LIME 上下文管理的四条经验

1. 固定窗口 + 两级裁剪：运行时硬阈值快速删除防溢出，空闲防抖深度压缩控耗时；
2. 重计算只发生在空闲期：10 秒防抖把昂贵的状态重算安排在用户不打字的时候；
3. 异步 commit + 预计算概率表：模型推理与按键请求解耦，按键永远在查表；
4. 互斥锁串行化：modelEvalLock 保证按键与后台任务永不互相踩踏。

需要说明的是，当前版本没有持久化功能，服务器重启后上下文会丢失（详见 README.md 的"现状"一节）——记忆是易失的，但管理记忆的这套机制，才是 LIME 连续输入不卡顿的底气所在。