WinPython-64bit 3.10.0.0 发布清单全解析:从 Python 3.10 科学计算发行版到包索引生成机制

原创2026-10-15 16:56:521,962 阅读
文章标签:包管理器开发工具CLI构建工具

WinPython-64bit 3.10.0.0 发布清单全解析:从 Python 3.10 科学计算发行版到包索引生成机制

导读

本文以 WinPython-64bit 3.10.0.0 的官方软件清单(changelogs/WinPython-64bit-3.10.0.0.md)为骨架,逐层剖析这个 Windows 平台便携式 Python 科学计算发行版在 3.10 时代的完整组成:内置工具、435 个预编译 Python 包、核心科学计算栈与 Jupyter 生态版本组合。同时结合仓库源码,深入讲解这类 Markdown 包索引是如何由 wppm 自动生成的、如何用 wppm -diff 对比任意两个发行版的差异,以及现代 WinPython 如何通过 pylock.toml 与 requirements 文件复现同样一套环境。读者读完将掌握:读懂 WinPython 版本清单的能力、按需裁剪/复现发行版的方法,以及包索引自动化生成与差分对比的完整链路。

说明:WinPython-64bit 3.10.0.0 为 2021 年发布的里程碑版本(Python 3.10 首个 WinPython 发行),本文所有版本号均以 清单原文 为准,作为历史技术档案解读。

一、发行版总览:Python 3.10 时代的新起点

WinPython-64bit v3.10.0.0 是 WinPython 发行家族中首批基于 Python 3.10.0 的 64 位版本(b3 构建)。作为对比,Python 3.10 本身带来了 match 语句、结构模式匹配、zip(strict=...) 等语法级新特性,而该发行版的最大意义在于:整个科学计算生态在 3.10 正式发布后迅速跟进,WinPython 得以在发行当天就提供全套预编译 wheel。

从仓库根目录的 winpython_builds.toml 可以看到,现代 WinPython 的构建体系将每个发行版定义为 (python 版本, flavor 风味) 的组合:

[defaults]
root_dir_for_builds = "C:\\Winp"
arch = "64"

[flavors.dot]
requirements = "dot_requirements.txt"
source_dirs = "packages.win-amd64"
toolsdirs = "bdTools\\Tools.dot"

[pythons."313"]
python_target_release = "31315"
release = "1"
my_release_level = "b1"
builds = ["dot", "slim"]

3.10.0.0 属于"无 flavor 后缀"的经典形态(文件名即 WinPython-64bit-3.10.0.0.md,与后来 WinPythonslim-64bit-...、WinPythondot-64bit-... 的命名形成对照),对应测试 tests/test_changelog_files.py 中专门保留的解析分支:("WinPython-64bit-3.9.8.0.md", ("", 64, "3.9.8.0")) # the unflavored ones——无 flavor 的版本名解析为空字符串 flavor。这从侧面印证:3.10.0.0 时代的发行版清单尚未分化出 slim/dot 等风味,是"全量科学计算发行版"的经典代表。

1.1 内置工具(Tools)

清单第一部分记录了 3 个随发行版提供的独立工具,它们不属于 Python 包,而是直接可执行的程序:

名称 版本 说明
Nodejs v14.17.1 基于 Chrome V8 引擎的 JavaScript 运行时
npmjs 6.14.13 JavaScript 包管理器
Pandoc 2.3 通用文档转换器

这三个工具反映了 WinPython 面向"交互式计算与文档产出"的定位:Node.js/npm 服务于 JupyterLab 等前端扩展的构建与运行(JupyterLab 的许多扩展需要 npm 参与安装);Pandoc 则支撑 nbconvert 将 Notebook 导出为多种格式。在 wppm/utils.py 的 get_installed_tools 中,这些工具与 Python 包是分开探测、分开成表的。

二、435 个 Python 包:科学计算栈全景

"Python packages" 一节按字母序罗列了 435 个 预编译 Python 包(含 Python 本体)。每个条目以 名称 | 版本 | 描述 三列格式呈现。以下按生态板块重组,便于理解各包的定位与搭配关系。

2.1 核心数值与科学计算

这是发行版的"地基",全部为针对 Windows amd64 预编译的二进制 wheel:

包 版本 定位
numpy 1.21.0+mkl 数组计算基础,MKL 加速版
scipy 1.7.0 科学计算核心库
pandas 1.2.5 数据分析与时间序列
sympy 1.8 符号计算(CAS)
numexpr 2.7.3 快速数值表达式求值
bottleneck 1.3.2 C 语言实现的 NumPy 加速函数
cython 3.0a7 C 扩展编译工具
pybind11 2.6.2 C++11 与 Python 互操作
numcodecs 0.8.0 数据存储压缩编解码器
llvmlite/numba 依赖链 — 由 numpy/scipy 生态带动的 JIT 工具链

值得注意的细节:numpy 版本号带 +mkl 后缀,说明该发行版捆绑 Intel MKL 数学库,矩阵运算可直接调用 MKL 线程化 BLAS;而 mandatory_requirements.txt 表明无论哪个构建,"pip、setuptools、wppm" 三件套永远存在,是发行版的自举基础。

2.2 可视化生态:四套风格并存

3.10.0.0 同时预装四套可视化体系,覆盖从静态出版级图表到交互式地图的全部场景:

  • Matplotlib 系:matplotlib 3.4.2、seaborn 0.11.1、mpld3、mpldatacursor、mpl_scatter_density
  • PyViz 系:holoviews 1.14.4、hvplot 0.7.2、panel 0.11.3、param、colorcet、pyviz_comms
  • 声明式与网页系:altair 4.1.0(含 altair_data_server/altair_transform/altair_widgets)、plotly 5.0.0、bokeh 2.3.2、plotnine 0.8.0、vega/vega_datasets
  • 地理可视化:folium 0.12.1、geopandas 0.9.0、geoviews 1.9.1、cartopy、rasterio、pydeck、ipyleaflet、branca

Jupyter 侧的配套 widget 同样齐全:bqplot、ipycanvas、ipympl、ipywidgets 7.6.3、widgetsnbextension 3.5.1,保证 Notebook 内交互式绘图开箱即用。

2.3 机器学习与统计

包 版本 定位
scikit_learn 0.24.2 经典机器学习
scikit_image 0.18.2 图像处理
statsmodels 0.12.2 统计模型
imbalanced_learn 0.8.0 不平衡数据集工具
scikit_optimize 0.8.1 序贯模型优化(超参搜索)
sklearn_contrib_lightning 0.6.1 大规模稀疏线性分类/回归
dask + distributed 2021.6.2 并行 PyData 调度
xgboost 替代链 — 由 emcee、pymc 覆盖贝叶斯采样

dask_searchcv 提供基于 Dask 的 Scikit-Learn 超参搜索并行化;emcee 3.1.0 与 pymc 2.3.8 共同支撑马尔可夫链蒙特卡洛(MCMC)采样。

2.4 数据科学与数据工程

  • 数据获取:requests 2.25.1、httpx 0.18.2、aiohttp 3.7.4.post0、pandas_datareader、datasette 0.57.1(SQLite 发布工具,含 datasette_graphql 插件)
  • 数据库驱动:sqlalchemy 1.4.19、pymongo、redis、mysql_connector_python 8.0.21、pg8000、pyodbc、adodbapi、sqlite_utils、csvs_to_sqlite
  • 大数据与分布式:ibis_framework 1.4.0、pyspark 替代的 dask 全家桶、fastparquet 生态的 numcodecs
  • 异步数据库:databases 0.4.1、aiosqlite

2.5 Web 开发与异步框架

Python 3.10 时代 Web 生态正在向 ASGI 转型,发行版同时覆盖两代:

  • WSGI(同步):flask 2.0.1 + flask_restx/flask_sqlalchemy/flask_cors/flask_mail/flask_session、django 未包含但 werkzeug 2.0.1、jinja2 3.0.1
  • ASGI(异步):fastapi 0.65.2 + starlette 0.14.2 + uvicorn 0.14.0 + pydantic 1.8.2、quart 0.15.1、hypercorn
  • HTTP 协议底层:httpcore、h11、h2/hpack/hyperframe、httpx、trio 0.19.0、anyio 3.2.1、sniffio
  • 命令行工具:httpie 2.4.0、click 系全家桶

2.6 Jupyter 生态全家桶

这是 WinPython 区别于普通 Python 安装的最大卖点——开箱即用的完整 Jupyter 环境:

  • Notebook 体系:jupyter 1.0.0(元包)、notebook 6.4.0、nbclassic、nbclient、nbconvert 6.1.0、nbformat 5.1.3、nbdime、nbval、jupyter_console
  • JupyterLab:jupyterlab 3.0.16 + jupyterlab_server + jupyterlab_widgets + jupyterlab_launcher + jupyterlab_git 0.30.1
  • LSP 语言服务:jupyter_lsp 1.3.0、jupyterlab_lsp 3.7.0(Notebook 内获得 IDE 级补全)
  • 内核:ipykernel 5.5.5、metakernel 0.27.5、octave_kernel 0.32.0、bash_kernel 依赖链(pexpect/ptyprocess)
  • IDE 与终端:pyzo 4.11.2(科学计算专用 IDE)、qtconsole 5.1.0、ptpython、snakeviz(profile 可视化)
  • 服务器扩展:jupyter_server 1.8.0、jupyter_server_proxy 3.0.2、jupyter_server_mathjax、dask_labextension、voila 0.2.10(Notebook 转 Web 应用)

2.7 地理空间(Geo)全栈

GIS 是 WinPython 的传统强项,3.10.0.0 提供完整的地理空间数据链条:gdal 3.3.0、fiona 1.8.20、rasterio 1.2.6、shapely 1.7.1、pyproj 3.1.0、cartopy 0.19.0.post1、geopandas 0.9.0、pyshp、pyepsg、rtree、mercantile、geographiclib、geopy、netcdf4 1.5.7、h5py 3.3.0、xarray 0.18.2。

2.8 工具链与开发支持

  • 打包分发:pyinstaller 4.3、twine 3.4.1、wheel 0.36.2、flit 3.2.0、pkginfo、readme_renderer、pipdeptree 2.0.0
  • 代码质量:pylint 2.8.3、flake8 系(pyflakes/pycodestyle/pycodestyle/pep8/mccabe)、black 21.6b0、isort 5.9.1、autopep8、mypy 0.910、hypothesis 6.14.0、pytest 6.2.4、coverage 5.5
  • 系统接口:pywin32 300+dummy、psutil 5.8.0、pyaudio、pyserial、pywinusb、sounddevice、pygame 2.0.1

三、包索引的自动化生成:wppm 的 -md 机制

读者可能好奇:这份排版工整的清单是人工维护的吗?答案是否定的。仓库中的 wppm/wppm.py 提供了完整的自动化生成链路,Distribution 类正是这份 Markdown 的"生产车间":

def render_markdown_for_list(self, title, items):
    """Generates a Markdown section; name, url, version, summary"""
    md = f"### {title}\n\n"
    md += "Name | Version | Description\n"
    md += "-----|---------|------------\n"
    for name, url, version, summary in sorted(items, key=lambda p: (p[0].lower(), p[2])):
        md += f"{name} | {version} | {summary}\n"
    md += "\n"
    return md

对照清单原文 `numpy 拼装三个区块:

  1. Tools:由 utils.get_installed_tools() 探测发行版根目录下的独立工具(Nodejs、Pandoc 等);
  2. Python packages:由 get_installed_packages() 调用 piptree.PipData 执行 pip list --full 汇总;
  3. WheelHouse packages:由 wppm/wheelhouse.py 扫描 wheelhouse/included.wheels 目录(3.10.0.0 时代该区块为空)。

运行时通过 wppm -md 即可对任意目标发行版输出同样的 Markdown 包索引:

wppm -md                         # 针对当前 Python 环境输出
wppm -md -t D:\WPy64-31000        # 指定目标发行版目录
wppm -md -j                       # 输出 JSON 结构化数据

从源码 wppm/wppm.py 的 get_package_index_data 可见,发行版身份信息(名称、版本、Python 版本、架构位数、release level)来自环境变量 WINPYVER2、WINPYFLAVOR、WINPYVER 与目标 Python 的解释器探测——这正是构建流程在 build_winpython_meta.py 中写入发行版内部的环境标记。测试 tests/test_distribution.py 专门验证了"-md 必须描述目标发行版而非运行 wppm 的解释器"这一回归场景。

四、用 wppm -diff 对比任意两个发行版

版本清单的另一个实战价值在于差分对比。仓库的 wppm/diff.py 实现了 PackageIndex 解析器,能按 ### Tools、### Python packages、### WheelHouse packages 三个区块解析任意清单文件,并输出包级差异:

wppm -diff WinPython-64bit-3.10.0.0.md WinPythonslim-64bit-3.15.0.4.md

从 wppm/wppm.py 的 -diff 分支(args.diff)可以看到,该模式不依赖任何发行版安装,直接读取两个 Markdown 文件即可对比;帮助信息中甚至推荐"任意两个版本或风味,方向不限,无需相邻"。这正是测试 tests/test_changelog_files.py 所阐述的设计哲学:不再自动维护 _History.md 逐版本链式对比文件,而是把"对比哪个版本"的决定权交给读者:

"A history compares a release against the one immediately before it, and that chain carries no meaning... The comparison that is wanted is between two indexes of the reader's own choosing."

五、从清单到可复现环境:pylock 与 requirements

现代 WinPython 仓库不再只靠"安装发行版"获得这套环境,而是把每个发行版的精确内容沉淀为 pylock.toml 锁定文件与 requirements-with-hash 文件,存放于 winpython/portable/cycle_2026_01/ 之类的 cycle 目录:

lock-version = "1.0"
created-by = "pip"

[[packages]]
name = "aiohttp"
version = "3.13.3"

[[packages.wheels]]
name = "aiohttp-3.13.3-cp314-cp314-win_amd64.whl"
url = "https://files.pythonhosted.org/packages/de/56/.../aiohttp-3.13.3-cp314-cp314-win_amd64.whl"

[packages.wheels.hashes]
sha256 = "9bf9f7a65e7aa20dd764151fb3d616c81088f91f8df39c3893a536e279b4b984"

每个包条目都带 wheel 下载地址与 sha256 哈希,形成供应链级别的可复现安装。仓库 README.rst 给出了两种复现方式:

# 方式一:requirements-with-hash 文件(--require-hashes 强制校验)
python -m pip install --no-deps --require-hashes https://github.com/winpython/winpython/releases/download/<版本>/requir.64-3_13_5_0slim.txt

# 方式二:pylock.toml(支持 lock 格式的包管理器)
# wppm 可直接依据 pylock 从本地 WheelHouse 装配:
wppm pylock.64-3_13_5_0slim.toml -ws .\wheelhouse

从 wppm/wppm.py 的安装分支可见,wppm 对 pylock*.toml 有专门处理:wh.get_pylock_wheels(dist.wheelhouse, Path(args_fname), args.wheelsource, args.wheeldrain) 会按锁定文件从指定 wheel 源收集 wheels 并落入发行版的 wheelhouse;同时支持 -ws(wheel 源,. 表示默认 WheelHouse)与 -wd(wheel 目标目录)两个参数。

配套的 check_updates.py 则回答"这套锁定环境该不该升级":它查询 PyPI 公共 JSON,把每个包归入 security(有安全公告)、ready(稳定待升级)、blocked(被版本上限卡住)、needs(wheelhouse 缺依赖)、too new(太新未成熟)等状态,并输出可直接粘贴的约束升级行。

六、构建视角:一份清单背后的工具链

回到构建侧,generate_a_winpython_distropy_meta.bat 是经典的本机构建入口,它将参数透传给 build_winpython_meta.py:

cd /D %~dp0
rem  <toml> [315 | 315:slim ...] [--dry-run]
call "C:\WinPdev\WPy64-31190\python-3.11.9.amd64\python.exe" %~dp0\build_winpython_meta.py %*

典型用法(对应 winpython_builds.toml 头部注释):

generate_a_winpython_distropy_meta.bat winpython_builds.toml 315:slim
generate_a_winpython_distropy_meta.bat winpython_builds.toml 315
generate_a_winpython_distropy_meta.bat winpython_builds.toml
generate_a_winpython_distropy_meta.bat winpython_builds.toml --dry-run   # 仅打印命令

从 build_winpython_meta.py 的 expand_builds 可以还原出路径推导规则(该规则与 winpython_builds.toml 注释完全一致):

basedir       = {root_dir_for_builds}\bd{python}
requirements  = {basedir}\{flavor requirements}
source_dirs   = {basedir}\{flavor source_dirs}
wheelhousereq = {basedir}\{flavor wheelhousereq}
toolsdirs     = {root_dir_for_builds}\{flavor toolsdirs}

最终构建命令落到 python -m winpython.build_winpython,参数覆盖 --python-target、--release、--release-level、--flavor、--mandatory-req、--requirements、--constraints、--find-links、--wheelhousereq、--bytecode、--only-binary、--create-installer 等。构建完成后,.github/scripts/changelog_files.py(其行为由 tests/test_changelog_files.py 锁定)负责挑选三类元数据文件归档到 changelogs/:WinPython*-bit-<ver>.md 包索引、pylock.*.toml 锁定文件、requir.*.txt 依赖清单——本清单正是该流水线产出的历史样本。

七、延伸阅读与使用建议

对于仍在 3.10 时代维护项目的读者,这份清单是一份"已验证兼容组合"的权威参考:按需选取其中任一板块(如仅复制可视化栈或地理空间栈),配合 wppm -tl 从安装环境反推顶层依赖清单、wppm -diff 做升级影响评估,即可在较短时间内重建一套经过社区验证的 Windows 科学计算环境。

登录后查看全文
winpython