WinPython-32bit 3.7.4.1 发行历史全解析:从 fsspec、jupyter_server 到 pandas 0.25 的版本升级全景
WinPython-32bit 3.7.4.1 发行历史全解析:从 fsspec、jupyter_server 到 pandas 0.25 的版本升级全景
本指南基于 WinPython 开源仓库中的官方发行说明 WinPython-32bit-3.7.4.1_History.md,完整解读该版本相对 3.7.4.0 的全部变更:新增 10 个 Python 包、升级 60+ 个包、移除 2 个包,以及 Nodejs 工具链的版本推进。读完本文,你将掌握 3.7.4.1 版本的包构成全貌、核心科学计算栈(NumPy/SciPy/pandas)的版本关系,并理解仓库中 History 文档是如何由 wppm 工具链自动比对生成的——这套机制同样可以用于你自己维护的发行版。
版本背景与文档定位
WinPython 是面向 Windows 平台的免费便携式 Python 发行版,主打预编译的科学计算(Scientific Python)软件包集成,其包管理工具与构建工具链代码即保存在当前仓库中(README.rst)。
WinPython-32bit 3.7.4.1 是 32 位架构下的一个维护性小版本(patch 级升级),其基于的 Python 解释器版本为 3.7.4(见 WinPython-32bit-3.7.4.1.md)。这份 _History.md 文件与同版本的主 changelog 互为补充:
- 主 changelog(
WinPython-32bit-3.7.4.1.md)描述该版本最终包含的完整包清单(含 Tools、Python packages 等分节); - History 文件(
WinPython-32bit-3.7.4.1_History.md)描述从 3.7.4.0 到 3.7.4.1 之间发生了什么变化,即本文解读的主体。
从仓库源码结构看,History 文件并非手写,而是由 wppm/diff.py 自动生成的:compare_package_indexes() 会加载前后两个版本的包索引 Markdown,逐节比对后输出 "New packages / Upgraded packages / Removed packages" 三类差异,再由 write_changelog() 写入 WinPython{flavor}-{architecture}bit-{version}_History.md 文件(见 wppm/diff.py)。也就是说,本文所读到的每一条变更记录,本质上都是程序对两个版本包索引做集合差与版本比较的结果,其格式(名称 旧版本 → 新版本 (描述))与 compare_packages() 的实现完全一致(wppm/diff.py)。
Tools 变更:Node.js 安全小版本升级
本次发行在随附工具(Tools)方面只有一处变更:
Nodejs v10.16.0 → v10.16.3(a JavaScript runtime built on Chrome's V8 JavaScript engine)
Node.js 是随发行版捆绑的 JavaScript 运行时,供 Jupyter 生态等前端工具链使用。v10.16.0 → v10.16.3 属于同一 LTS 大版本内的维护升级,通常包含安全修复与稳定性改进。从 WinPython-32bit-3.7.4.1.md 的主清单可以确认,最终版本还同时捆绑了 npmjs 6.9.0 作为 JavaScript 包管理器,二者共同构成 WinPython 附带的前端运行时工具集。
在构建层面,这类工具并不是通过 pip 安装的,而是由构建工具链从独立的 "tools" 目录拷贝进发行版。从 winpython/make.py 可以看到 _copy_essential_files() 会把 tools_directories 中的内容复制到发行版根目录的 t 子目录,且各 flavor 对应的工具目录(如 bdTools\Tools.dot)在 winpython_builds.toml 中通过 toolsdirs 键统一配置。
新增 Python 包:10 个新成员逐项解读
3.7.4.1 相比 3.7.4.0 新增了 10 个 Python 包,可以按用途分为四组:
数据接入与文件系统抽象
| 包 | 版本 | 说明 |
|---|---|---|
| fsspec | 0.4.4 | 统一的文件系统规范抽象层(File-system specification),为本地文件、远程存储等提供一致的接口 |
fsspec 的加入意义较大:它是 Dask、Intake 等数据生态读取各类存储后端(本地磁盘、S3、HTTP 等)的公共底座,其进入发行版意味着 WinPython 的数据读取链路开始向"协议无关"演进。
Jupyter 服务端与交互生态
| 包 | 版本 | 说明 |
|---|---|---|
| jupyter_server | 0.1.1 | Jupyter 服务端(Jupyter Server) |
| jupyterlab_pygments | 0.1.0 | JupyterLab 的 Pygments 语法高亮主题 |
| voila | 0.1.11 | 将 notebook 以只读、实时交互的 Web 应用形式发布(Serving read-only live Jupyter notebooks) |
jupyter_server 是后来 Jupyter 前端与内核解耦架构的前身组件;voila 则把 notebook 直接变成可分享的 Web 应用,二者同时进入发行版,说明这一时期的 WinPython 正积极跟进 Jupyter 生态的"从编辑器到应用发布"扩展。注意 notebook 在同一版本中也升级到了 6.0.1(见下文升级清单),jupyter_server 与 notebook 并存反映了 Jupyter 服务端演进过渡期的依赖关系。
数据处理加速与类型系统
| 包 | 版本 | 说明 |
|---|---|---|
| swifter | 0.292 | 以最快可用方式将任意函数应用于 pandas DataFrame 或 Series |
| typing_extensions | 3.7.4 | 为 Python 3.5+ 回移植的实验性类型注解(Backported and Experimental Type Hints) |
swifter 面向 pandas 用户提供"自动选择最快 apply 路径"的便捷封装;typing_extensions 则是类型生态的通用依赖,被 mypy、attrs 等大量静态类型工具间接引用。二者的加入分别补强了数据处理体验与类型检查基础设施。
Windows 平台集成与基础设施
| 包 | 版本 | 说明 |
|---|---|---|
| portalocker | 1.5.1 | 跨平台文件锁(文件锁定原语) |
| pypiwin32 | 223+dummy | pywin32 的兼容占位包(注意版本号带 +dummy 后缀,属于占位性质) |
| ruamel.yaml.clib | 0.1.2 | ruamel.yaml 的 C 加速扩展 |
| winrt | 1.0.19128.1 | 从 Python 访问 Windows Runtime API(Access Windows Runtime APIs from Python) |
其中 winrt 是面向 Windows 平台特性的亮点:它让 Python 脚本能够直接调用 WinRT/UWP 风格的 Windows 系统 API,是当时在 Windows 上做系统集成的新路径。ruamel.yaml.clib 与主包 ruamel.yaml(同版升级到 0.16.5,见下)配套出现,提供 C 语言加速的 YAML 解析能力;pypiwin32 的 +dummy 版本号则表明它是以占位形式存在,用于兼容性满足依赖,实际功能由 pywin32 225 承担。
升级包清单:科学计算栈的整体刷新
本次升级涉及 60+ 个包,覆盖从核心数组计算、数据框架、可视化到 IDE 的完整科学计算链路。以下按技术域归类呈现(版本均为 旧 → 新):
核心科学计算栈
| 包 | 版本变化 | 说明 |
|---|---|---|
| numpy | 1.16.4+mkl → 1.16.5+mkl | NumPy 数组计算核心,+mkl 表示链接 Intel MKL 数学库 |
| scipy | 1.3.0 → 1.3.1 | 高级数学、信号处理、优化与统计 |
| pandas | 0.24.2 → 0.25.1 | 数据分析、时间序列与统计数据结构 |
| statsmodels | 0.10.0 → 0.10.1 | 统计计算与建模 |
| numba | 0.44.1 → 0.45.1 | 基于 LLVM 的 Python 即时编译 |
| numexpr | 2.6.9 → 2.7.0 | 数组表达式向量化快速求值 |
| h5py | 2.9.0 → 2.10.0 | HDF5 文件接口 |
| netcdf4 | 1.5.1.2 → 1.5.2 | netCDF4 面向对象接口 |
| xarray | 0.12.3 → 0.13.0 | N 维带标签数组与数据集 |
| dask | 2.1.0 → 2.4.0 | 任务调度抽象与并行计算 |
| distributed | 2.1.0 → 2.4.0 | Dask 分布式计算 |
| fastparquet | 0.3.1 → 0.3.2 | Parquet 列式格式支持 |
| tables(未变更) | 3.5.2 | 基于 HDF5 的分层数据集管理 |
这一批升级中,pandas 0.24.2 → 0.25.1 是本版最显著的数据科学升级(跨了两个 minor 版本),配套的 pandas_datareader(0.7.0 → 0.7.4)也随之跟进;dask/distributed 同步升级保证了并行计算栈与 pandas 0.25 的兼容性。值得注意的是 numpy 仍停留在 1.16.5+mkl,说明该版本刻意维持了与 Python 3.7.4、以及 numba 0.45.1/llvmlite 构建链的兼容矩阵。
可视化与交互绘图
| 包 | 版本变化 | 说明 |
|---|---|---|
| matplotlib(未变更) | 3.1.1 | 2D 绘图库 |
| bokeh | 1.2.0 → 1.3.4 | 交互式 HTML 绘图 |
| holoviews | 1.12.3 → 1.12.5 | 声明式可视化数据结构 |
| panel | 0.6.0 → 0.6.3 | 组合控件与图表的 Web 应用工具包 |
| plotnine | 0.5.2.dev2 → 0.6.0 | Python 版图形语法(grammar of graphics) |
| altair | 3.1.0 → 3.2.0 | 高层声明式可视化 |
| bqplot | 0.11.6 → 0.11.8 | 基于 d3.js 与 ipywidgets 的 notebook 交互绘图 |
| colorcet | 2.0.1 → 2.0.2 | 感知均匀科学色图 |
| geoviews | 1.6.2 → 1.6.3 | 地图数据可视化 |
| vega | 2.4.0 → 2.6.0 | Vega/Vega-Lite 的 Jupyter widget |
| qtawesome | 0.5.7 → 0.6.0 | PyQt/PySide 的 FontAwesome 图标 |
| mizani | 0.5.4 → 0.6.0 | 图形比例尺(Scales) |
地理空间(Geo)栈
| 包 | 版本变化 | 说明 |
|---|---|---|
| geopandas | 0.5.1 → 0.6.0rc1 | 地理 pandas 扩展(注意为 RC 预发布版) |
| rasterio | 1.0.23 → 1.0.27 | 基于 Numpy/SciPy 的栅格 I/O |
| mercantile | 1.1.1 → 1.1.2 | Web Mercator XYZ 瓦片工具 |
| ipyleaflet | 0.11.1 → 0.11.2 | Jupyter 动态 Leaflet 地图 widget |
| affine | 2.2.2 → 2.3.0 | 平面仿射变换矩阵 |
geopandas 升级至 0.6.0rc1 是一个值得注意的信号:发行版选择跟进候选发布版(release candidate),说明该版本对 Geo 生态的新特性有较高优先级,同时意味着使用时应留意 RC 阶段可能的 API 变动。
Jupyter / Notebook 生态
| 包 | 版本变化 | 说明 |
|---|---|---|
| notebook | 6.0.0rc1 → 6.0.1 | Jupyter Notebook 正式版 6.x |
| jupyterlab | 1.0.2 → 1.1.4 | JupyterLab 环境 |
| jupyterlab_server | 1.0.0 → 1.0.6 | JupyterLab 服务端 |
| ipython | 7.6.1 → 7.8.0 | 增强型 Python Shell |
| ipykernel | 5.1.1 → 5.1.2 | Jupyter 的 IPython 内核 |
| jupyter_client | 5.2.4 → 5.3.3 | Jupyter 协议实现与客户端 |
| nbconvert | 5.5.0 → 5.6.0 | Notebook 格式转换 |
| papermill | 1.0.1 → 1.1.0 | Notebook 参数化与批量执行 |
| jupyter_sphinx | 0.1.4 → 0.2.1 | Sphinx 的 Jupyter 扩展 |
| qtconsole | 4.5.1 → 4.5.5 | Jupyter Qt 控制台 |
| widgetsnbextension | 3.5.0 → 3.5.1 | notebook 的 IPython widget 扩展 |
| ipywidgets | 7.5.0 → 7.5.1 | IPython HTML widgets |
| metakernel | 0.24.2 → 0.24.3 | Jupyter 元内核框架 |
| jedi | 0.14.0 → 0.15.1 | 代码补全引擎(IPython/Jupyter 依赖) |
| parso | 0.5.0 → 0.5.1 | Python 解析器(jedi 依赖) |
这一批升级完成了 notebook 从 6.0.0rc1 到正式版 6.0.1 的跨越,jupyterlab 也从 1.0.2 前进到 1.1.4,配合新增的 jupyter_server,Jupyter 生态整体向前迈进了一大步。
机器学习与优化
| 包 | 版本变化 | 说明 |
|---|---|---|
| scikit_learn | 0.21.2 → 0.21.3 | 机器学习与数据挖掘模块集 |
| cvxpy | 1.0.24 → 1.0.25 | 凸优化建模 DSL |
| mlxtend | 0.16.0 → 0.17.0 | 机器学习库扩展 |
| lmfit | 0.9.13 → 0.9.14 | 带边界与约束的最小二乘拟合 |
| loky | 2.5.1 → 2.6.0 | joblib 的稳健可复用 Executor |
| mypy | 0.711 → 0.720 | 可选静态类型检查 |
| hypothesis | 4.24.6 → 4.35.0 | 基于属性的测试库 |
| pytest | 4.6.3 → 5.1.2 | 测试框架(跨主版本升级到 5.x) |
pytest 4.6.3 → 5.1.2 是又一个跨主版本升级(4.x → 5.x),hypothesis 4.24.6 → 4.35.0 则跳过了近 10 个中间版本,二者共同表明发行版对测试与质量基础设施的快速跟进。
GUI 与开发环境
| 包 | 版本变化 | 说明 |
|---|---|---|
| pyqt5 | 5.13.0 → 5.13.1 | Qt 跨平台 GUI 工具包绑定 |
| pyqt5_sip | 4.19.18 → 4.19.19 | PyQt5 的 sip 扩展模块 |
| pyqtwebengine | 5.13.0 → 5.13.1 | Qt WebEngine 绑定 |
| spyder | 3.3.5 → 3.3.6 | 科学计算 Python IDE |
| spyder_kernels | 0.5.0 → 0.5.1 | Spyder 控制台内核 |
| pyzo | 4.7.4.dev1 → 4.9.0 | 科学计算 Python IDE |
| qtpy | 1.8.0 → 1.9.0 | 多 Qt 绑定抽象层 |
| pywin32 | 224 → 225 | Windows 平台 Python 库 |
| cx_freeze | 5.1.1 → 6.0 | Python 脚本打包为独立 Windows 可执行程序 |
数据存储、网络与其余重要升级
| 包 | 版本变化 | 说明 |
|---|---|---|
| sqlalchemy | 1.3.5 → 1.3.8 | SQL 工具包与 ORM |
| pymongo | 3.8.0 → 3.9.0 | MongoDB 驱动 |
| redis | 3.2.1 → 3.3.8 | Redis 客户端 |
| pyodbc | 4.0.26 → 4.0.27 | ODBC 的 DB-API 模块 |
| protobuf | 3.8.0 → 3.9.1 | Protocol Buffers 数据交换格式 |
| requests(未变更) | 2.22.0 | HTTP 库 |
| urllib3 | 1.25.3 → 1.25.5 | HTTP 库(requests 底层依赖) |
| werkzeug | 0.15.4 → 0.16.0 | Web 开发瑞士军刀 |
| lxml | 4.3.4 → 4.4.1 | XML 处理库 |
| beautifulsoup4 | 4.7.1 → 4.8.0 | 网页解析库 |
| pyyaml | 5.1.1 → 5.1.2 | YAML 解析与输出 |
| ruamel.yaml | 0.15.98 → 0.16.5 | 保留注释与键序的 YAML 解析器 |
| xlsxwriter | 1.1.7 → 1.2.0 | Excel XLSX 文件生成 |
| xlwings | 0.15.8 → 0.15.9 | Python 与 Excel 双向交互 |
| pip | 19.1.1 → 19.2.3 | Python 包安装与管理 |
| setuptools | 41.0.1 → 41.2.0 | 包构建与安装工具 |
| wheel | 0.33.4 → 0.33.6 | wheel 包格式工具 |
| winpython | 2.0.20190705 → 2.1.20190921 | WinPython 发行工具(含 WPPM 包管理器) |
| tqdm | 4.32.2 → 4.36.1 | 进度条 |
| tenacity | 5.0.4 → 5.1.1 | 重试工具库 |
| twine | 1.13.0 → 1.15.0 | PyPI 上传工具 |
| sphinx | 2.1.2 → 2.2.0 | 文档生成工具 |
| docutils | 0.14 → 0.15.2 | reStructuredText 文档处理 |
| nltk | 3.4.4 → 3.4.5 | 自然语言处理工具包 |
| quantecon | 0.4.4 → 0.4.5 | 计量经济学 Python 库 |
| rx | 3.0.0b2 → 3.0.1 | Python 响应式扩展(Rx) |
| intake | 0.5.0 → 0.5.3 | 数据输入插件与目录系统 |
| cython | 0.29.12 → 0.29.13 | C 扩展编写语言 |
| pyzmq | 18.0.2 → 18.1.0 | ZeroMQ 消息库(IPython Qt 控制台依赖) |
| keyring | 19.0.2 → 19.2.0 | 密码安全存储 |
| importlib_metadata | 0.18 → 0.23 | 读取 Python 包元数据 |
| certifi | 2019.6.16 → 2019.9.11 | Mozilla CA 证书包 |
| jsonschema | 3.0.1 → 3.0.2 | JSON Schema 校验 |
| regex | 2019.6.8 → 2019.8.19 | 正则表达式增强模块 |
| soupsieve | 1.9.2 → 1.9.3 | CSS4 选择器实现 |
| fasteners(未变更) | 0.15 | 文件锁等实用工具 |
其中 winpython 自身从 2.0.20190705 升级到 2.1.20190921 尤为关键:该包即本仓库对应的 WinPython 发行工具(含 WPPM 包管理器,见 README.rst 的说明),它的升级意味着发行版自带的包管理能力(wheelhouse 浏览、注册、安装)在此版本中获得了同步改进。
移除的包:msgpack 序列化双组件
msgpack_numpy 0.4.4.3(Numpy data serialization using msgpack) msgpack_python 0.5.4+dummy(MessagePack (de)serializer)
本次移除了两个与 MessagePack 序列化相关的组件:msgpack_numpy(NumPy 数组的 msgpack 序列化)和 msgpack_python(版本号同样带 +dummy 占位标记)。从主 changelog WinPython-32bit-3.7.4.1.md 可以看到发行版仍保留 msgpack 0.6.1 本体,因此这属于对"非必要序列化扩展"的瘦身,而非移除序列化能力本身。这一调整也符合 compare_packages() 的语义:只有当旧索引中存在、新索引中完全消失的包才会进入 "Removed packages" 列表(wppm/diff.py)。
History 文件的生成机制:wppm 包管理器的 diff 能力
理解了 3.7.4.1 的全部变更内容后,值得深入了解这份 History 文档的"生产方式"——它不是人工维护的,而是 WinPython 工具链自动化能力的产物。从 wppm/diff.py 的实现可以还原完整的生成链路:
- 包索引解析:
PackageIndex类解析 Markdown 格式的包索引,识别### Tools、### Python packages、### WheelHouse packages三个分节(HEADERS字典,wppm/diff.py); - 版本发现:
changelog_versions()用正则WinPython{flavor}-{architecture}bit-(.+)\.(?:txt|md)$扫描 changelogs 目录,并用 PEP 440 版本解析器(packaging.version.parse)排序,find_previous_version()自动定位目标版本的前一版本——这正是本文档标题中 "since version 3.7.4.0" 的来源(wppm/diff.py); - 差异计算:
compare_packages()对两个版本的包字典求集合差——新索引独有者为 "New packages"、两版均有但版本不同者为 "Upgraded packages"、旧索引独有者为 "Removed packages",并输出名称 旧版本 → 新版本 (描述)的统一行格式(wppm/diff.py); - 文件写出:
write_changelog()将比对结果写入changelogs/WinPython{flavor}-{architecture}bit-{version}_History.md(wppm/diff.py)。
作为使用者,你也可以通过命令行直接复用这套比对能力(用法定义在 wppm/diff.py 的 print_usage() 中):
# 比较两个包索引文件的全部差异
wppm -diff file1.md file2.md
# 按版本比较(在 changelogs 目录下)
python -m wppm.diff 3.7.4.1 3.7.4.0
# 将比对结果写入 History 文件
python -m wppm.diff --write-changelog 3.7.4.1 3.7.4.0
需要注意的是,compare_package_indexes() 生成的文件头严格为 ## History of changes for WinPython-{architecture}bit {version2 + flavor},与本文档的标题格式完全吻合(wppm/diff.py),这进一步印证了本 History 文档的自动化来源。
而包索引(主 changelog)本身则由 wppm 的 Distribution.generate_package_index_markdown() 从发行版实测环境生成:它调用 pip 列出已安装包、扫描 wheelhouse 目录(默认 wheelhouse/included.wheels),并读取发行版的版本号、架构位数、release level 等身份信息,最终渲染为 ## WinPython {version} + Tools / Python packages / WheelHouse packages 三节的 Markdown(wppm/wppm.py)。这也解释了为什么主 changelog 与 History 文件能保持一致的表格结构与包名格式。
版本变更全景与升级建议
综合以上三部分变更,WinPython-32bit 3.7.4.1 的整体升级画像可以归纳为:
- 数据科学主线:pandas 0.25.1、scipy 1.3.1、statsmodels 0.10.1 协同升级,numpy 1.16.5+mkl 保持稳定,构成当时 32 位发行版中最新的科学计算组合;
- Jupyter 生态主线:notebook 正式进入 6.x、jupyterlab 1.1.4、ipython 7.8.0,并新增 jupyter_server、voila 拓展了交互与发布能力;
- 可视化主线:bokeh 1.3.4、holoviews 1.12.5、altair 3.2.0、plotnine 0.6.0 集体前进;
- 平台与基础设施:pywin32 225、winrt、portalocker 强化了 Windows 集成;pip/setuptools/wheel 同步刷新,保证包安装链路健康。
对于使用 3.7.4.0 版本并计划升级到 3.7.4.1 的用户,实际需要关注的点包括:pandas 0.24 → 0.25 的 API 变化(如部分废弃接口移除)、pytest 4.x → 5.x 的插件兼容性、geopandas 0.6.0rc1 的预发布属性,以及 msgpack_numpy/msgpack_python 被移除后相关代码需改用 msgpack 本体。
如需深入查阅,仓库内还提供了完整包清单 WinPython-32bit-3.7.4.1.md、版本比对工具实现 wppm/diff.py、包索引生成逻辑 wppm/wppm.py,以及发行版构建配置 winpython_builds.toml 与构建脚本 winpython/make.py,可帮助你从"变更清单"一路追到"生成机制"与"构建配置"。