Azure搜索开放AI演示项目中的安全用户文档上传功能设计

背景与需求分析

在Azure搜索开放AI演示项目中，团队设计并实现了一个可选的安全用户文档上传功能。该功能允许经过身份验证的用户上传个人文档，并确保这些文档只能被上传者本人搜索查询，同时又能与系统通用文档一起被检索。

架构设计

项目采用了Azure DataLake Storage Gen2类型的Blob容器作为存储解决方案，主要基于其完善的访问控制列表(ACL)功能。为了实现这一架构：

1. 在Bicep模板中创建了新的存储账户
2. 设置了isHsnEnable参数
3. 配置了相应的环境变量来管理账户名称和容器名称

前端实现

前端通过/config路由获取用户上传功能是否启用的配置信息。当同时满足以下条件时，前端会显示"上传文件"按钮：

• 用户上传功能已启用
• 系统启用了身份验证功能

上传按钮支持单文件上传，采用multipart/form-data格式通过POST请求将文件发送至后端的/upload路由。

后端处理

后端服务主要完成以下关键功能：

1. 初始化DataLakeServiceClient客户端
2. 处理/upload路由请求：
   • 解析上传的文件内容
   • 通过身份验证装饰器获取用户身份声明
   • 检查并创建用户专属目录
   • 设置目录ACL权限
   • 上传文件并附加用户标识标签

文档处理函数

项目专门部署了一个Python函数来处理文档的自动处理流程：

1. 使用Blob触发器监控存储变化
2. 调用prepdocs库处理新上传的文档
3. 根据函数环境变量配置进行处理

技术选型考量

团队在ADLS2和Blob存储之间进行了详细比较，最终选择ADLS2主要基于以下优势：

1. 用户文件管理更简便，可直接删除整个用户目录
2. 原生支持ACL，与其他ACL解决方案集成更顺畅

但同时也要注意ADLS2的一些限制，如功能支持差异和需要额外SDK等。

安全与权限设计

系统实现了精细化的权限控制：

1. 为每个用户创建独立目录
2. 设置严格的ACL权限
3. 在Blob元数据中存储用户标识作为冗余验证
4. 确保用户只能检索自己的文档

未来扩展考虑

虽然当前版本暂未实现用户删除功能，但团队已经考虑了多种扩展可能性：

1. 可添加带确认和延迟期的安全删除功能
2. 考虑使用Celery任务队列处理大文件上传
3. 可能将prepdocs功能重构为独立PyPI包

该功能设计充分考虑了安全性、易用性和扩展性，为项目提供了灵活的用户文档管理能力。