Aleph项目中文档转换超时机制优化方案

在Aleph项目的文件处理流程中，文档转换是一个关键环节。近期社区发现当处理某些特定文件时，转换过程可能会长时间挂起，最终被系统强制终止。这种情况不仅影响处理效率，还可能导致资源浪费。

问题背景

文档转换功能主要依赖于LibreOffice等工具将各类文档格式转换为可处理的中间格式。当前实现中存在一个硬编码的超时设置（3600秒），这会导致以下问题：

1. 当转换过程出现异常挂起时，系统需要等待完整1小时后才会终止
2. 无法根据不同文件类型或处理环境灵活调整超时阈值
3. 长时间运行的转换进程会占用系统资源

技术实现分析

通过代码审查可以发现，转换超时控制主要在convert.py模块中实现。该模块使用Python的subprocess模块启动外部转换程序，并通过timeout参数控制执行时长。

核心控制逻辑具有以下特点：

• 默认超时设置为3600秒（1小时）
• 超时后会抛出subprocess.TimeoutExpired异常
• 目前缺乏细粒度的超时配置机制

优化方案

针对这一问题，建议采用以下改进措施：

1. 分层超时机制：

   • 为不同文件类型设置差异化的超时阈值
   • 对小文件采用较短超时（如120秒）
   • 对大文档保持较长超时

2. 动态配置支持：

   • 通过环境变量暴露超时参数
   • 允许在运行时调整超时设置
   • 提供合理的默认值

3. 异常处理增强：

   • 记录超时事件详细信息
   • 提供重试机制
   • 实现资源清理保障

实施建议

对于需要立即解决问题的用户，可以通过以下方式临时调整：

1. 修改convert.py中的TIMEOUT常量
2. 使用monkey-patching在运行时覆盖默认值
3. 对于容器化部署，可以重建镜像应用修改

长期来看，建议将超时参数整合到项目配置系统中，使其成为可动态调整的运行参数。这需要：

• 在settings.py中添加相关配置项
• 修改convert.py使用配置值而非硬编码
• 更新文档说明配置方法

最佳实践

基于项目经验，推荐以下超时设置策略：

1. 常规文档：300秒
2. 大型PDF/PPT：900秒
3. 简单文本文件：60秒
4. 电子邮件归档：1200秒

同时建议实现监控机制，收集实际转换耗时数据，为优化提供依据。可以记录：

• 转换成功耗时
• 超时发生频率
• 文件类型与耗时的关联性

通过这种数据驱动的方式，可以持续优化超时策略，在保证转换成功率的同时提高系统响应速度。