Pex项目在Python 3.12环境下构建PEX包的问题分析与解决方案

问题背景

Pex是一个用于创建Python可执行压缩包（PEX）的工具，它允许开发者将Python项目及其依赖打包成一个独立的可执行文件。近期，用户在使用Pex的bdist_pex命令通过tox构建PEX包时，发现该操作在Python 3.12环境下会失败，而在Python 3.9至3.11版本中则能正常工作。

问题现象

当用户在Python 3.12环境下运行以下命令时：

python setup.py bdist_pex --bdist-dir=dist --pex-args='--disable-cache -r requirements.in --resolver-version pip-2020-resolver --pip-version 24.0 -vvvvv' --bdist-all

会收到如下错误信息：

Failed to spawn a job for ...: received exit code 1 during execution of `['.../python3.12', '-s', '-E', '-m', 'pip', 'install', '-U', 'pip']`

技术分析

经过深入调查，发现该问题与Python 3.12中ensurepip模块的行为变化有关。具体表现为：

1. 在Python 3.12环境下，当Pex尝试创建一个虚拟环境并安装指定版本的pip（如24.0）时，ensurepip模块会错误地认为当前环境中的pip已经满足要求，导致实际上没有安装任何pip版本。

2. 这个问题特别出现在使用--disable-cache选项时，因为Pex需要临时创建一个包含指定pip版本的虚拟环境。

3. 在Python 3.9-3.11版本中，ensurepip模块的行为正常，能够正确安装指定版本的pip。

解决方案

Pex开发团队在2.8.0版本中修复了这个问题，主要修改包括：

1. 不再依赖ensurepip模块来安装pip，而是直接通过virtualenv的创建参数来控制pip的安装。

2. 修改了Virtualenv.create方法的实现，新增了一个include_pip参数，允许在创建虚拟环境时直接包含pip，而不是后续再安装。

3. 对于需要特定pip版本的情况，现在会直接传递include_pip=True参数，确保pip能够正确安装。

最佳实践建议

对于遇到类似问题的用户，建议：

1. 升级到Pex 2.8.0或更高版本。

2. 如果暂时无法升级，可以使用替代方案：

python -m pex --disable-cache . -r requirements.in --resolver-version pip-2020-resolver --pip-version 24.0 -c entry -o dist/entry.pex

3. 对于多脚本项目，可以考虑使用conscript工具来管理多个入口点。

技术启示

这个案例展示了Python生态系统中版本兼容性的重要性。随着Python核心功能的演进，一些看似稳定的接口（如ensurepip）也可能在不同版本中表现出不同的行为。作为工具开发者，需要：

1. 对核心功能的变更保持敏感。

2. 设计更健壮的替代方案，减少对特定实现的依赖。

3. 建立全面的跨版本测试体系，尽早发现兼容性问题。

对于Python开发者来说，这也提醒我们在升级Python版本时需要关注工具链的兼容性，并及时更新相关工具。