Jan项目对Deepseek蒸馏模型的技术支持方案解析

背景介绍

Jan作为一个开源AI项目，近期计划在v0.5.14版本中增加对Deepseek蒸馏模型的支持。这一技术升级将为用户提供更高效的模型选择，但同时也面临着一些技术挑战需要解决。

当前面临的技术挑战

在实现Deepseek蒸馏模型支持的过程中，开发团队遇到了两个主要技术问题：

1. 模板解析兼容性问题：GGUF格式文件使用的Jinja2模板与Jan项目当前使用的Cortex设计存在不兼容。Jan目前需要将Jinja模板解析为Cortex的格式，这一转换过程导致了诸多兼容性问题。

2. 提示模板持久化问题：Jan目前无法持久化保存用户对prompt_template的修改，导致用户每次使用时都需要重新设置模板参数。

短期解决方案

为了尽快实现对Deepseek蒸馏模型的支持，团队制定了以下短期解决方案：

1. 自主量化模型：团队将自行量化模型并内置prompt_template，创建专门的分支(如janhq/deepseek-distill-qwen2)来维护这一版本。主分支(main)将继续支持传统的GGUF格式以保证现有Jan用户的正常使用。

2. 手动模板输入：对于社区提供的模型(如bartowski/...)，用户需要手动粘贴系统提示模板到Jan中，虽然这不是最完美的解决方案，但可以暂时满足基本使用需求。

长期技术规划

从长远来看，团队计划对Cortex进行重构，使其能够更好地支持各种模型格式和模板系统。这将从根本上解决当前的兼容性问题，为用户提供更流畅的体验。

技术实现细节

在具体实现上，团队将重点关注以下方面：

1. 模型量化处理：确保量化后的模型在保持性能的同时，能够与Jan的架构良好兼容。

2. 模板系统优化：改进模板解析机制，减少格式转换带来的性能损耗和兼容性问题。

3. 用户配置持久化：实现用户设置的长期保存功能，提升用户体验。

总结

Jan项目对Deepseek蒸馏模型的支持体现了团队对技术创新的追求和对用户需求的响应。通过短期解决方案和长期技术规划的结合，团队正在构建一个更加完善、兼容性更强的AI平台。这一技术升级将为用户带来更多模型选择，同时也为项目的未来发展奠定了坚实基础。