KoboldCPP 1.89版本发布：本地AI推理引擎的重大更新

KoboldCPP是一个基于llama.cpp的本地AI推理引擎，它允许用户在个人电脑上高效运行各种大型语言模型。作为一个轻量级解决方案，KoboldCPP特别适合那些希望在本地环境中使用AI模型而不依赖云服务的开发者和研究者。

无脚本模式全面升级

1.89版本最引人注目的改进之一是全面增强的无脚本(NoScript)模式。现在，用户可以通过访问http://localhost:5001/noscript来使用完全不依赖JavaScript的聊天界面和图像生成功能。这一改进使得KoboldCPP能够在几乎任何浏览器上运行，包括Internet Explorer 5、Netscape Navigation 4等老旧浏览器，以及Lynx、Dillo等轻量级终端浏览器。

模型加载与性能优化

新版本引入了两个重要的启动参数：--overridekv和--overridetensors。这些参数借鉴自llama.cpp，允许用户更灵活地控制模型加载行为：

• --overridekv用于覆盖单个元数据属性，格式为keyname=type:value
• --overridetensors用于将匹配特定模式的张量分配到指定后端，格式为tensornamepattern=buffertype

对于Vulkan用户，1.89版本启用了@jeffbolznv的coopmat2支持，这带来了flash attention功能和整体性能提升。需要注意的是，要使用这一功能，用户需要安装最新的Nvidia Game Ready Driver(576.02)。同时，为兼容性考虑，OldCPU模式的Vulkan二进制文件将不再包含coopmat、coopmat2和DP4A支持。

图像生成功能改进

图像生成方面也有多项改进：

• 现在支持在量化扩散模型上使用未量化的图像生成LoRAs
• 修复了某些图像LoRAs因图形大小限制导致的崩溃问题
• 将CLIP量化恢复为f32
• 改进了稳定UI中的修复笔刷选择功能

用户界面与体验优化

Kobold Lite界面进行了多项改进：

• 将Tokens标签和WebSearch标签移至设置面板(原上下文面板)
• 正则表达式和token序列配置现在存储在设置中而非故事中，确保这些配置在新故事中也能保留
• 修复了URL无法在新标签页打开的问题
• 重新设计了思考标签处理逻辑，现在区分显示和提交正则表达式行为(每种有3种模式)
• 为WebSearch增加了"保留历史"开关，可在后续查询中保留部分旧搜索结果
• 增加了可编辑的角色创建模板
• 本地和远程保存槽位增加到各10个
• 移除了已停止服务的aetherroom club相关功能

系统兼容性与错误修复

1.89版本还包含多项系统兼容性改进和错误修复：

• 改进了Zenity的兼容性检查，默认使用YAD作为文件选择器
• 修复了RWKV模型加载问题
• 增加了GPU内存显示功能，帮助用户更好地估计层数
• 修复了CLI模式下的多个问题
• 合并了上游项目的多项修复和改进

版本选择建议

KoboldCPP提供了多个版本以适应不同硬件环境：

• 标准版koboldcpp.exe适合大多数用户
• koboldcpp_nocuda.exe体积更小，适合不需要CUDA的用户
• koboldcpp_oldcpu.exe专为老旧CPU设计
• koboldcpp_cu12.exe针对较新Nvidia GPU优化，使用CUDA 12
• Linux用户可选择对应的Linux二进制文件
• MacOS(M1/M2/M3)用户可使用koboldcpp-mac-arm64
• AMD用户建议首先尝试Vulkan选项，或使用YellowRoseCx的ROCm分支版本

KoboldCPP 1.89版本的这些改进使得这个本地AI推理引擎更加稳定、高效且用户友好，为希望在本地环境中运行大型语言模型的用户提供了更强大的工具。