Pyomo项目中HiGHS求解器接口的线程死锁问题分析

问题背景

在Pyomo优化框架中使用Appsi接口调用HiGHS求解器时，某些情况下会出现线程冻结现象。该问题表现为求解过程突然停止，没有任何错误输出，且具有非确定性特征。经过分析发现，当HiGHS的日志输出选项开启时，这个问题会频繁出现。

技术分析

问题根源

问题的核心在于Python全局解释器锁(GIL)与HiGHS求解器的交互问题。具体表现为：

1. Pyomo使用TeeStream和capture_output机制来处理求解器的输出流
2. 这些机制通过创建独立线程来监控和处理流数据
3. HiGHS的Python接口(highspy)在执行run()方法时没有释放GIL
4. 导致输出处理线程无法获得执行机会
5. 最终造成流缓冲区填满，HiGHS的write操作被阻塞，形成死锁

重现条件

在测试环境中，可以通过以下方式重现该问题：

1. 创建一个简单的MPS模型文件
2. 使用Pyomo的Appsi接口或直接调用highspy
3. 启用log_to_console选项
4. 在TeeStream上下文中执行求解

影响范围

该问题主要影响：

• 使用Pyomo 6.7.0及以上版本
• 通过Appsi接口调用HiGHS求解器
• 在Windows和Linux系统上均会出现
• 特别是需要捕获求解器输出的场景

解决方案

临时解决方案

目前可用的临时解决方案包括：

1. 关闭HiGHS的日志输出选项(log_to_console=False)
2. 避免在TeeStream上下文中执行求解

根本解决方案

需要从两个层面解决：

1. HiGHS接口层：

• 修改highspy的run()方法实现，在执行期间适当释放GIL
• 确保长时间运行的计算操作不会一直持有GIL

2. Pyomo框架层：

• 重构Appsi接口的输出处理机制
• 考虑替代TeeStream的方案来处理求解器输出
• 为直接接口提供更健壮的输出处理方式

技术建议

对于开发者而言，在处理类似问题时应注意：

1. 当混合使用Python线程和外部库时，要特别注意GIL的管理
2. 长时间运行的外部调用应该设计为可中断或提供GIL释放点
3. 输出流处理机制需要考虑缓冲区管理和死锁预防
4. 对于优化求解器等计算密集型工具，建议提供异步接口选项

这个问题也提醒我们，在集成不同系统时，线程和资源管理是需要特别关注的重要方面。