Kernel Memory项目中的持久化存储与内存存储混用问题解析

问题背景

在Kernel Memory项目中，开发者遇到了一个关于存储配置的重要问题：当同时使用持久化内存存储(PostgresMemory)和易失性文档存储(SimpleFileStorage Volatile)时，会导致内存记录在多轮执行中出现重复数据。这一问题揭示了项目中存储组件交互机制的关键细节。

存储架构解析

Kernel Memory采用双存储架构设计：

1. 文档存储(Document Storage)：负责保存上传的文件内容，并检查文件是否已上传过
2. 向量存储(Vector Storage)：保存文本块和嵌入向量

这种设计确保了文件处理的完整性和效率，但也带来了配置上的复杂性。

问题本质

当开发者配置了持久化的向量存储(如PostgresMemory)但使用易失性的文档存储(内存中的SimpleFileStorage)时，系统重启后文档存储会丢失所有数据记录。此时，系统无法判断哪些文件已经处理过，导致重复导入和重复生成内存记录。

解决方案

项目提供了两种处理方式：

1. 统一存储配置：建议全部使用持久化存储或全部使用易失性存储
2. 强制允许混合配置：通过设置KernelMemoryBuilderBuildOptions.AllowMixingVolatileAndPersistentData = true来禁用检查

实现细节

正确的服务注册方式应如下所示：

public static void AddCustomKernelMemory(this IServiceCollection services)
{
    KernelMemoryBuilderBuildOptions options = new()
    {
        AllowMixingVolatileAndPersistentData = true
    };

    KernelMemoryBuilder builder = new(services);
    ConfigureBuilder(builder);
    IKernelMemory memory = builder.Build<MemoryServerless>(options);
    
    services.AddSingleton(memory);
}

性能考量

值得注意的是，SimpleFileStorage的易失性模式仅适用于开发环境，实际生产环境中：

1. 大文件处理会导致内存急剧增长
2. 持久化磁盘模式或专业blob服务(Azure Blobs/AWS S3)更为推荐
3. 自定义处理管道需特别注意清理时序

最佳实践建议

1. 生产环境避免混用存储类型
2. 文档处理完成后及时清理中间数据
3. 对于自定义管道，确保数据处理步骤的顺序合理
4. 大文件处理考虑使用磁盘缓存而非纯内存方案

通过理解这些存储交互机制，开发者可以更合理地配置Kernel Memory项目，避免数据重复和性能问题。