WinPython-64bit 3.10.0.0 发布清单全解析:从 Python 3.10 科学计算发行版到包索引生成机制
WinPython-64bit 3.10.0.0 发布清单全解析:从 Python 3.10 科学计算发行版到包索引生成机制
导读
本文以 WinPython-64bit 3.10.0.0 的官方软件清单(changelogs/WinPython-64bit-3.10.0.0.md)为骨架,逐层剖析这个 Windows 平台便携式 Python 科学计算发行版在 3.10 时代的完整组成:内置工具、435 个预编译 Python 包、核心科学计算栈与 Jupyter 生态版本组合。同时结合仓库源码,深入讲解这类 Markdown 包索引是如何由 wppm 自动生成的、如何用 wppm -diff 对比任意两个发行版的差异,以及现代 WinPython 如何通过 pylock.toml 与 requirements 文件复现同样一套环境。读者读完将掌握:读懂 WinPython 版本清单的能力、按需裁剪/复现发行版的方法,以及包索引自动化生成与差分对比的完整链路。
说明:WinPython-64bit 3.10.0.0 为 2021 年发布的里程碑版本(Python 3.10 首个 WinPython 发行),本文所有版本号均以 清单原文 为准,作为历史技术档案解读。
一、发行版总览:Python 3.10 时代的新起点
WinPython-64bit v3.10.0.0 是 WinPython 发行家族中首批基于 Python 3.10.0 的 64 位版本(b3 构建)。作为对比,Python 3.10 本身带来了 match 语句、结构模式匹配、zip(strict=...) 等语法级新特性,而该发行版的最大意义在于:整个科学计算生态在 3.10 正式发布后迅速跟进,WinPython 得以在发行当天就提供全套预编译 wheel。
从仓库根目录的 winpython_builds.toml 可以看到,现代 WinPython 的构建体系将每个发行版定义为 (python 版本, flavor 风味) 的组合:
[defaults]
root_dir_for_builds = "C:\\Winp"
arch = "64"
[flavors.dot]
requirements = "dot_requirements.txt"
source_dirs = "packages.win-amd64"
toolsdirs = "bdTools\\Tools.dot"
[pythons."313"]
python_target_release = "31315"
release = "1"
my_release_level = "b1"
builds = ["dot", "slim"]
3.10.0.0 属于"无 flavor 后缀"的经典形态(文件名即 WinPython-64bit-3.10.0.0.md,与后来 WinPythonslim-64bit-...、WinPythondot-64bit-... 的命名形成对照),对应测试 tests/test_changelog_files.py 中专门保留的解析分支:("WinPython-64bit-3.9.8.0.md", ("", 64, "3.9.8.0")) # the unflavored ones——无 flavor 的版本名解析为空字符串 flavor。这从侧面印证:3.10.0.0 时代的发行版清单尚未分化出 slim/dot 等风味,是"全量科学计算发行版"的经典代表。
1.1 内置工具(Tools)
清单第一部分记录了 3 个随发行版提供的独立工具,它们不属于 Python 包,而是直接可执行的程序:
| 名称 | 版本 | 说明 |
|---|---|---|
| Nodejs | v14.17.1 | 基于 Chrome V8 引擎的 JavaScript 运行时 |
| npmjs | 6.14.13 | JavaScript 包管理器 |
| Pandoc | 2.3 | 通用文档转换器 |
这三个工具反映了 WinPython 面向"交互式计算与文档产出"的定位:Node.js/npm 服务于 JupyterLab 等前端扩展的构建与运行(JupyterLab 的许多扩展需要 npm 参与安装);Pandoc 则支撑 nbconvert 将 Notebook 导出为多种格式。在 wppm/utils.py 的 get_installed_tools 中,这些工具与 Python 包是分开探测、分开成表的。
二、435 个 Python 包:科学计算栈全景
"Python packages" 一节按字母序罗列了 435 个 预编译 Python 包(含 Python 本体)。每个条目以 名称 | 版本 | 描述 三列格式呈现。以下按生态板块重组,便于理解各包的定位与搭配关系。
2.1 核心数值与科学计算
这是发行版的"地基",全部为针对 Windows amd64 预编译的二进制 wheel:
| 包 | 版本 | 定位 |
|---|---|---|
| numpy | 1.21.0+mkl | 数组计算基础,MKL 加速版 |
| scipy | 1.7.0 | 科学计算核心库 |
| pandas | 1.2.5 | 数据分析与时间序列 |
| sympy | 1.8 | 符号计算(CAS) |
| numexpr | 2.7.3 | 快速数值表达式求值 |
| bottleneck | 1.3.2 | C 语言实现的 NumPy 加速函数 |
| cython | 3.0a7 | C 扩展编译工具 |
| pybind11 | 2.6.2 | C++11 与 Python 互操作 |
| numcodecs | 0.8.0 | 数据存储压缩编解码器 |
| llvmlite/numba 依赖链 | — | 由 numpy/scipy 生态带动的 JIT 工具链 |
值得注意的细节:numpy 版本号带 +mkl 后缀,说明该发行版捆绑 Intel MKL 数学库,矩阵运算可直接调用 MKL 线程化 BLAS;而 mandatory_requirements.txt 表明无论哪个构建,"pip、setuptools、wppm" 三件套永远存在,是发行版的自举基础。
2.2 可视化生态:四套风格并存
3.10.0.0 同时预装四套可视化体系,覆盖从静态出版级图表到交互式地图的全部场景:
- Matplotlib 系:matplotlib 3.4.2、seaborn 0.11.1、mpld3、mpldatacursor、mpl_scatter_density
- PyViz 系:holoviews 1.14.4、hvplot 0.7.2、panel 0.11.3、param、colorcet、pyviz_comms
- 声明式与网页系:altair 4.1.0(含 altair_data_server/altair_transform/altair_widgets)、plotly 5.0.0、bokeh 2.3.2、plotnine 0.8.0、vega/vega_datasets
- 地理可视化:folium 0.12.1、geopandas 0.9.0、geoviews 1.9.1、cartopy、rasterio、pydeck、ipyleaflet、branca
Jupyter 侧的配套 widget 同样齐全:bqplot、ipycanvas、ipympl、ipywidgets 7.6.3、widgetsnbextension 3.5.1,保证 Notebook 内交互式绘图开箱即用。
2.3 机器学习与统计
| 包 | 版本 | 定位 |
|---|---|---|
| scikit_learn | 0.24.2 | 经典机器学习 |
| scikit_image | 0.18.2 | 图像处理 |
| statsmodels | 0.12.2 | 统计模型 |
| imbalanced_learn | 0.8.0 | 不平衡数据集工具 |
| scikit_optimize | 0.8.1 | 序贯模型优化(超参搜索) |
| sklearn_contrib_lightning | 0.6.1 | 大规模稀疏线性分类/回归 |
| dask + distributed | 2021.6.2 | 并行 PyData 调度 |
| xgboost 替代链 | — | 由 emcee、pymc 覆盖贝叶斯采样 |
dask_searchcv 提供基于 Dask 的 Scikit-Learn 超参搜索并行化;emcee 3.1.0 与 pymc 2.3.8 共同支撑马尔可夫链蒙特卡洛(MCMC)采样。
2.4 数据科学与数据工程
- 数据获取:requests 2.25.1、httpx 0.18.2、aiohttp 3.7.4.post0、pandas_datareader、datasette 0.57.1(SQLite 发布工具,含 datasette_graphql 插件)
- 数据库驱动:sqlalchemy 1.4.19、pymongo、redis、mysql_connector_python 8.0.21、pg8000、pyodbc、adodbapi、sqlite_utils、csvs_to_sqlite
- 大数据与分布式:ibis_framework 1.4.0、pyspark 替代的 dask 全家桶、fastparquet 生态的 numcodecs
- 异步数据库:databases 0.4.1、aiosqlite
2.5 Web 开发与异步框架
Python 3.10 时代 Web 生态正在向 ASGI 转型,发行版同时覆盖两代:
- WSGI(同步):flask 2.0.1 + flask_restx/flask_sqlalchemy/flask_cors/flask_mail/flask_session、django 未包含但 werkzeug 2.0.1、jinja2 3.0.1
- ASGI(异步):fastapi 0.65.2 + starlette 0.14.2 + uvicorn 0.14.0 + pydantic 1.8.2、quart 0.15.1、hypercorn
- HTTP 协议底层:httpcore、h11、h2/hpack/hyperframe、httpx、trio 0.19.0、anyio 3.2.1、sniffio
- 命令行工具:httpie 2.4.0、click 系全家桶
2.6 Jupyter 生态全家桶
这是 WinPython 区别于普通 Python 安装的最大卖点——开箱即用的完整 Jupyter 环境:
- Notebook 体系:jupyter 1.0.0(元包)、notebook 6.4.0、nbclassic、nbclient、nbconvert 6.1.0、nbformat 5.1.3、nbdime、nbval、jupyter_console
- JupyterLab:jupyterlab 3.0.16 + jupyterlab_server + jupyterlab_widgets + jupyterlab_launcher + jupyterlab_git 0.30.1
- LSP 语言服务:jupyter_lsp 1.3.0、jupyterlab_lsp 3.7.0(Notebook 内获得 IDE 级补全)
- 内核:ipykernel 5.5.5、metakernel 0.27.5、octave_kernel 0.32.0、bash_kernel 依赖链(pexpect/ptyprocess)
- IDE 与终端:pyzo 4.11.2(科学计算专用 IDE)、qtconsole 5.1.0、ptpython、snakeviz(profile 可视化)
- 服务器扩展:jupyter_server 1.8.0、jupyter_server_proxy 3.0.2、jupyter_server_mathjax、dask_labextension、voila 0.2.10(Notebook 转 Web 应用)
2.7 地理空间(Geo)全栈
GIS 是 WinPython 的传统强项,3.10.0.0 提供完整的地理空间数据链条:gdal 3.3.0、fiona 1.8.20、rasterio 1.2.6、shapely 1.7.1、pyproj 3.1.0、cartopy 0.19.0.post1、geopandas 0.9.0、pyshp、pyepsg、rtree、mercantile、geographiclib、geopy、netcdf4 1.5.7、h5py 3.3.0、xarray 0.18.2。
2.8 工具链与开发支持
- 打包分发:pyinstaller 4.3、twine 3.4.1、wheel 0.36.2、flit 3.2.0、pkginfo、readme_renderer、pipdeptree 2.0.0
- 代码质量:pylint 2.8.3、flake8 系(pyflakes/pycodestyle/pycodestyle/pep8/mccabe)、black 21.6b0、isort 5.9.1、autopep8、mypy 0.910、hypothesis 6.14.0、pytest 6.2.4、coverage 5.5
- 系统接口:pywin32 300+dummy、psutil 5.8.0、pyaudio、pyserial、pywinusb、sounddevice、pygame 2.0.1
三、包索引的自动化生成:wppm 的 -md 机制
读者可能好奇:这份排版工整的清单是人工维护的吗?答案是否定的。仓库中的 wppm/wppm.py 提供了完整的自动化生成链路,Distribution 类正是这份 Markdown 的"生产车间":
def render_markdown_for_list(self, title, items):
"""Generates a Markdown section; name, url, version, summary"""
md = f"### {title}\n\n"
md += "Name | Version | Description\n"
md += "-----|---------|------------\n"
for name, url, version, summary in sorted(items, key=lambda p: (p[0].lower(), p[2])):
md += f"{name} | {version} | {summary}\n"
md += "\n"
return md
对照清单原文 `numpy 拼装三个区块:
- Tools:由
utils.get_installed_tools()探测发行版根目录下的独立工具(Nodejs、Pandoc 等); - Python packages:由
get_installed_packages()调用piptree.PipData执行pip list --full汇总; - WheelHouse packages:由 wppm/wheelhouse.py 扫描
wheelhouse/included.wheels目录(3.10.0.0 时代该区块为空)。
运行时通过 wppm -md 即可对任意目标发行版输出同样的 Markdown 包索引:
wppm -md # 针对当前 Python 环境输出
wppm -md -t D:\WPy64-31000 # 指定目标发行版目录
wppm -md -j # 输出 JSON 结构化数据
从源码 wppm/wppm.py 的 get_package_index_data 可见,发行版身份信息(名称、版本、Python 版本、架构位数、release level)来自环境变量 WINPYVER2、WINPYFLAVOR、WINPYVER 与目标 Python 的解释器探测——这正是构建流程在 build_winpython_meta.py 中写入发行版内部的环境标记。测试 tests/test_distribution.py 专门验证了"-md 必须描述目标发行版而非运行 wppm 的解释器"这一回归场景。
四、用 wppm -diff 对比任意两个发行版
版本清单的另一个实战价值在于差分对比。仓库的 wppm/diff.py 实现了 PackageIndex 解析器,能按 ### Tools、### Python packages、### WheelHouse packages 三个区块解析任意清单文件,并输出包级差异:
wppm -diff WinPython-64bit-3.10.0.0.md WinPythonslim-64bit-3.15.0.4.md
从 wppm/wppm.py 的 -diff 分支(args.diff)可以看到,该模式不依赖任何发行版安装,直接读取两个 Markdown 文件即可对比;帮助信息中甚至推荐"任意两个版本或风味,方向不限,无需相邻"。这正是测试 tests/test_changelog_files.py 所阐述的设计哲学:不再自动维护 _History.md 逐版本链式对比文件,而是把"对比哪个版本"的决定权交给读者:
"A history compares a release against the one immediately before it, and that chain carries no meaning... The comparison that is wanted is between two indexes of the reader's own choosing."
五、从清单到可复现环境:pylock 与 requirements
现代 WinPython 仓库不再只靠"安装发行版"获得这套环境,而是把每个发行版的精确内容沉淀为 pylock.toml 锁定文件与 requirements-with-hash 文件,存放于 winpython/portable/cycle_2026_01/ 之类的 cycle 目录:
lock-version = "1.0"
created-by = "pip"
[[packages]]
name = "aiohttp"
version = "3.13.3"
[[packages.wheels]]
name = "aiohttp-3.13.3-cp314-cp314-win_amd64.whl"
url = "https://files.pythonhosted.org/packages/de/56/.../aiohttp-3.13.3-cp314-cp314-win_amd64.whl"
[packages.wheels.hashes]
sha256 = "9bf9f7a65e7aa20dd764151fb3d616c81088f91f8df39c3893a536e279b4b984"
每个包条目都带 wheel 下载地址与 sha256 哈希,形成供应链级别的可复现安装。仓库 README.rst 给出了两种复现方式:
# 方式一:requirements-with-hash 文件(--require-hashes 强制校验)
python -m pip install --no-deps --require-hashes https://github.com/winpython/winpython/releases/download/<版本>/requir.64-3_13_5_0slim.txt
# 方式二:pylock.toml(支持 lock 格式的包管理器)
# wppm 可直接依据 pylock 从本地 WheelHouse 装配:
wppm pylock.64-3_13_5_0slim.toml -ws .\wheelhouse
从 wppm/wppm.py 的安装分支可见,wppm 对 pylock*.toml 有专门处理:wh.get_pylock_wheels(dist.wheelhouse, Path(args_fname), args.wheelsource, args.wheeldrain) 会按锁定文件从指定 wheel 源收集 wheels 并落入发行版的 wheelhouse;同时支持 -ws(wheel 源,. 表示默认 WheelHouse)与 -wd(wheel 目标目录)两个参数。
配套的 check_updates.py 则回答"这套锁定环境该不该升级":它查询 PyPI 公共 JSON,把每个包归入 security(有安全公告)、ready(稳定待升级)、blocked(被版本上限卡住)、needs(wheelhouse 缺依赖)、too new(太新未成熟)等状态,并输出可直接粘贴的约束升级行。
六、构建视角:一份清单背后的工具链
回到构建侧,generate_a_winpython_distropy_meta.bat 是经典的本机构建入口,它将参数透传给 build_winpython_meta.py:
cd /D %~dp0
rem <toml> [315 | 315:slim ...] [--dry-run]
call "C:\WinPdev\WPy64-31190\python-3.11.9.amd64\python.exe" %~dp0\build_winpython_meta.py %*
典型用法(对应 winpython_builds.toml 头部注释):
generate_a_winpython_distropy_meta.bat winpython_builds.toml 315:slim
generate_a_winpython_distropy_meta.bat winpython_builds.toml 315
generate_a_winpython_distropy_meta.bat winpython_builds.toml
generate_a_winpython_distropy_meta.bat winpython_builds.toml --dry-run # 仅打印命令
从 build_winpython_meta.py 的 expand_builds 可以还原出路径推导规则(该规则与 winpython_builds.toml 注释完全一致):
basedir = {root_dir_for_builds}\bd{python}
requirements = {basedir}\{flavor requirements}
source_dirs = {basedir}\{flavor source_dirs}
wheelhousereq = {basedir}\{flavor wheelhousereq}
toolsdirs = {root_dir_for_builds}\{flavor toolsdirs}
最终构建命令落到 python -m winpython.build_winpython,参数覆盖 --python-target、--release、--release-level、--flavor、--mandatory-req、--requirements、--constraints、--find-links、--wheelhousereq、--bytecode、--only-binary、--create-installer 等。构建完成后,.github/scripts/changelog_files.py(其行为由 tests/test_changelog_files.py 锁定)负责挑选三类元数据文件归档到 changelogs/:WinPython*-bit-<ver>.md 包索引、pylock.*.toml 锁定文件、requir.*.txt 依赖清单——本清单正是该流水线产出的历史样本。
七、延伸阅读与使用建议
- 包索引生成与差分对比:wppm/wppm.py、wppm/diff.py
- 锁定与复现:winpython/portable/cycle_2026_01/ 下的 pylock 与 requir 文件、README.rst
- 更新决策:check_updates.py
- 构建体系:winpython_builds.toml、build_winpython_meta.py、mandatory_requirements.txt
- 测试证据:tests/test_distribution.py、tests/test_changelog_files.py
对于仍在 3.10 时代维护项目的读者,这份清单是一份"已验证兼容组合"的权威参考:按需选取其中任一板块(如仅复制可视化栈或地理空间栈),配合 wppm -tl 从安装环境反推顶层依赖清单、wppm -diff 做升级影响评估,即可在较短时间内重建一套经过社区验证的 Windows 科学计算环境。