Latitude-LLM项目中数据集映射持久化方案的技术实现

背景介绍

在Latitude-LLM项目的编辑器功能中，数据集映射(Dataset Mapping)是一个关键功能，它允许用户将提示词模板与特定数据集进行关联。在之前的实现中，这些映射关系仅保存在浏览器的本地存储(Local Storage)中，这带来了几个明显的局限性：

1. 数据无法在不同设备间共享
2. 团队成员无法共享相同的映射配置
3. 存在数据丢失的风险

技术挑战

将数据集映射从本地存储迁移到数据库需要解决几个关键技术问题：

1. 数据结构设计：需要确定在数据库中存储映射关系的最佳方式
2. 批量操作支持：确保从编辑器和评估界面执行的批量操作都能正确持久化
3. 数据一致性：保证在各种操作场景下映射关系都能正确保存

解决方案

数据库存储设计

项目团队决定使用PostgreSQL的JSONB类型来存储数据集映射关系，这种方案具有以下优势：

• 灵活的数据结构：可以存储复杂的映射关系
• 高效的查询性能：JSONB类型支持索引和高效查询
• 易于扩展：未来可以轻松添加新的映射属性

映射数据被存储在文档版本(document_version)表中，与提示词的版本管理紧密结合。

批量操作处理

针对批量操作场景，系统实现了以下改进：

1. 编辑器批量运行：当用户从编辑器界面执行批量运行时，系统会捕获当前的映射配置并持久化到数据库
2. 评估批量运行：在评估界面执行批量操作时，同样确保映射关系被保存

这两种场景之前存在bug，导致映射关系未能正确保存，现已修复。

实现细节

在技术实现层面，主要包含以下关键点：

1. 后端API扩展：修改了相关API端点，支持接收和返回映射配置
2. 数据迁移：设计了从本地存储到数据库的平滑迁移方案
3. 并发控制：处理多用户同时修改映射关系的场景
4. 错误处理：确保在映射保存失败时提供清晰的错误反馈

用户体验改进

这一技术改进为用户带来了显著的体验提升：

1. 团队协作：团队成员现在可以实时看到相同的映射配置
2. 数据安全：映射关系不再因浏览器缓存清除而丢失
3. 操作一致性：无论在编辑器还是评估界面，映射行为保持一致

总结

Latitude-LLM项目通过将数据集映射从本地存储迁移到数据库，显著提升了系统的协作能力和数据可靠性。这一改进不仅解决了现有问题，还为未来的功能扩展奠定了坚实基础，展示了项目团队对系统架构持续优化的承诺。