WinPython 3.4.4.3 变更历史深度解读:22 个新包、80 项升级与 Changelog 自动化生成机制
WinPython 3.4.4.3 变更历史深度解读:22 个新包、80 项升级与 Changelog 自动化生成机制
导读
本文以 changelogs/WinPython-3.4.4.3_History.md 这份官方变更历史文档为主体,完整解读 WinPython 3.4.4.3(自 3.4.4.2 以来)的包生态变迁:22 个新增包、80 个升级包与 4 个移除包;并结合当前仓库源码,剖析这类 _History.md 文档是如何由 wppm/diff.py 自动生成的。读完本文,你将能准确判断 3.4.4.3 在科学计算栈、Jupyter 生态与深度学习工具链上的演进脉络,并掌握用 wppm -diff 复现任意两个 WinPython 版本包差异的实战方法。
一、版本背景:WinPython 3.4.4.3 是什么
WinPython 是一个面向 Windows 平台的自由开源 Python 发行版,内置预编译的科学计算包集合。3.4.4.3 是基于 CPython 3.4.4 内核的迭代版本,对应的完整包索引见 changelogs/WinPython-3.4.4.3.md(含 Python 3.4.4 本体、Pandoc 工具与全部 Python 包)。
_History.md 是配套的"版本差异文档":它不重复列出全部包,而是精确报告自上一版本(3.4.4.2)以来发生了什么变化,按 New packages(新增)、Upgraded packages(升级,格式为 旧版本 → 新版本)、Removed packages(移除)三节组织。这正是后续要讲的 changelog 生成工具的输出格式。
统计 3.4.4.3 这份变更清单,共涉及 106 项包变化,其中升级数量最多(80 项),反映出这是一个以"整体刷新依赖"为主要目标的维护版本。
二、新增的 22 个包:四大方向补全生态
3.4.4.3 一次性引入了 22 个新包,按用途可划分为四个方向:
| 方向 | 新增包(版本) | 作用 |
|---|---|---|
| 云服务与对象存储 | boto3 1.3.1、botocore 1.4.36、jmespath 0.9.0、s3fs 0.0.6 | AWS SDK for Python 及其底层核心、JSON 匹配表达式、S3 文件系统接口 |
| 分布式与并行计算 | distributed 1.11.2、msgpack-python 0.4.7、tblib 1.3.0、monotonic 1.1、fasteners 0.14.1 | dask 的分布式调度器、高性能序列化、traceback 序列化、单调时钟、锁工具 |
| Jupyter / 文档生态 | ipyleaflet 0.2.1、widgetsnbextension 1.2.6、commonmark 0.5.4、recommonmark 0.4.0、nbsphinx 0.2.8 | Jupyter 动态 Leaflet 地图控件、widgets 前端扩展、CommonMark 解析器、docutils Markdown 解析器、Sphinx 的 Notebook 工具 |
| 开发效率与代码质量 | args 0.1.0、clint 0.5.1、entrypoints 0.2.2、isort 4.2.5、mccabe 0.4.0、pycodestyle 2.0.0、zarr 1.0.0、win-unicode-console 0.5 | 命令行参数/界面工具、entry point 发现、import 排序、McCabe 复杂度检查(flake8 插件)、PEP 8 风格检查、分块压缩 N 维数组存储、Windows 控制台 Unicode 支持 |
其中值得注意的两点:
- 云原生起步:boto3/botocore/jmespath/s3fs 的组合让 WinPython 用户首次可以在发行版内直接操作 AWS S3 对象存储,
s3fs又为 dask 生态的云端数据读取补齐了文件系统抽象。 - Windows 中文/Unicode 体验修复:
win-unicode-console 0.5的引入专门解决 Windows 控制台运行 Python 时的 Unicode 输入/显示问题——这在中文 Windows 环境下尤为重要,是当时 CPython 在 Windows 控制台编码缺陷的实用补丁。
三、升级的 80 个包:科学计算栈的集体刷新
80 个升级包是本次版本的核心。为便于阅读,按技术主题分组呈现(版本格式为 3.4.4.2 → 3.4.4.3):
3.1 科学计算核心栈
| 包 | 版本变化 | 说明 |
|---|---|---|
| numpy | 1.10.4 → 1.11.1 | NumPy 核心数组计算库 |
| scipy | 0.17.0 → 0.18.0rc2 | 科学计算库(注意此版本为 rc2 预发布) |
| pandas | 0.18.0 → 0.18.1 | 数据分析、时间序列、统计 |
| numexpr | 2.5.1 → 2.6.1 | 向量化虚拟机的快速数组表达式求值 |
| bottleneck | 1.0.0 → 1.1.0 | 用 Cython 编写的高速 NumPy 函数 |
| bcolz | 0.12.1 → 1.1.0 | 列式压缩数据容器 |
| tables | 3.2.2 → 3.2.3 | 基于 HDF5 的层级数据集管理 |
| h5py | 2.5.0 → 2.6.0 | HDF5 文件的 Python 接口 |
| netcdf4 | 1.2.3.1 → 1.2.4 | netCDF 库的 python/numpy 接口 |
| statsmodels | 0.6.1 → 0.8.0rc1 | 统计计算与模型(同样为 rc 预发布) |
| nltk | 3.2 → 3.2.1 | 自然语言处理工具包 |
| joblib | 0.9.4 → 0.10.0 | 轻量级流水线/缓存 |
| xlrd | 0.9.4 → 1.0.0 | 读取 Excel 文件 |
| xlsxwriter | 0.8.4 → 0.9.3 | 创建 Excel XLSX 文件 |
| python-dateutil | 2.5.1 → 2.5.3 | datetime 扩展 |
| pytz | 2016.3 → 2016.4 | 世界时区定义 |
3.2 可视化
| 包 | 版本变化 | 说明 |
|---|---|---|
| matplotlib | 1.5.1 → 1.5.2 | 2D 绘图库 |
| seaborn | 0.7.0 → 0.7.1 | 统计可视化 |
| bqplot | 0.5.5 → 0.7.1 | Jupyter notebook 中基于 d3.js 与 ipywidgets 的交互绘图 |
| holoviews | 1.4.3 → 1.6.0 | 可组合声明式数据可视化结构 |
3.3 Jupyter / IPython 生态
| 包 | 版本变化 | 说明 |
|---|---|---|
| ipython | 4.1.2 → 5.0.0 | 增强型 Python shell(大版本升级) |
| ipywidgets | 4.1.1 → 5.2.2 | IPython HTML widgets for Jupyter(大版本升级) |
| notebook | 4.1.0 → 4.2.1 | Jupyter Notebook |
| jupyter-client | 4.2.2 → 4.3.0 | Jupyter 客户端组件 |
| jupyter-console | 4.1.1 → 5.0.0 | Jupyter 控制台(大版本升级) |
| nbconvert | 4.1.0 → 4.2.0 | Notebook 格式转换 |
| ipyparallel | 5.0.1 → 5.1.1 | IPython 交互式并行计算 |
| qtpy | 1.0 → 1.1.1 | Qt 绑定抽象层(PyQt5/PyQt4/PySide) |
| pyzmq | 15.2.0 → 15.3.0 | ZeroMQ 绑定(IPython Qt console 依赖) |
| prompt-toolkit | 0.60 → 1.0.3 | 交互式命令行构建库(跨入 1.0) |
| ptpython | 0.32 → 0.35 | 基于 prompt_toolkit 的 Python REPL |
| tornado | 4.3 → 4.4 | 非阻塞 Web 服务器(notebook 依赖) |
| traitlets | 4.2.1 → 4.2.2 | Traitlets 配置系统 |
| pickleshare | 0.6 → 0.7.2 | 支持并发的小型 shelve 数据库 |
| mistune | 0.7.2 → 0.7.3 | 纯 Python Markdown 解析器 |
| wcwidth | 0.1.6 → 0.1.7 | 终端宽字符宽度测量 |
3.4 深度学习
| 包 | 版本变化 | 说明 |
|---|---|---|
| keras | 0.3.3 → 1.0.6 | Theano 后端深度学习库(跨入 1.0) |
| theano | 0.8.1 → 0.8.2 | CPU/GPU 数学表达式优化编译器 |
3.5 数据并行 / 分布式工具链
| 包 | 版本变化 | 说明 |
|---|---|---|
| dask | 0.8.1 → 0.10.1 | 最小化任务调度抽象 |
| toolz | 0.7.4 → 0.8.0 | 函数式工具集 |
| cytoolz | 0.7.5 → 0.8.0 | toolz 的 Cython 高性能实现 |
| partd | 0.3.2 → 0.3.4 | 可追加键值存储 |
| odo | 0.4.2 → 0.5.0 | Python 数据迁移 |
| blaze | 0.9.1 → 0.10.1 | Blaze 数据系统 |
| datashape | 0.5.1 → 0.5.2 | 数据描述语言 |
| numba | 0.25.0 → 0.27.0 | 基于 LLVM 的 Python 编译 |
| llvmlite | 0.10.0 → 0.12.1 | LLVM 基础功能轻量封装 |
| julia | 0.1.1.8 → 0.1.1 | Python 调用 Julia 语言的接口 |
3.6 代码质量、文档与工程工具
| 包 | 版本变化 | 说明 |
|---|---|---|
| pylint | 1.5.5 → 1.6.1 | 代码分析(查 bug 与质量) |
| astroid | 1.4.5 → 1.4.7 | 重建抽象语法树(pylint 依赖) |
| pyflakes | 1.1.0 → 1.2.3 | 被动式 Python 程序检查 |
| sphinx | 1.4 → 1.4.5 | 文档生成工具 |
| alabaster | 0.7.7 → 0.7.8 | Sphinx 侧边栏主题 |
| twine | 1.6.5 → 1.7.4 | PyPI 上传工具集 |
| pkginfo | 1.2.1 → 1.3.2 | 查询 sdist/bdist/已装包元数据 |
| imagesize | 0.7.0 → 0.7.1 | 读取图片尺寸 |
| decorator | 4.0.7 → 4.0.10 | 装饰器工具 |
| wrapt | 1.10.7 → 1.10.8 | 装饰器、包装与 monkey patch |
| lazy-object-proxy | 1.2.1 → 1.2.2 | 快速惰性对象代理 |
| cffi | 1.5.2 → 1.7.0 | Python 调用 C 的 FFI |
| cython | 0.24 → 0.24.1 | 编写 C 扩展的 Python 语言 |
| babel | 2.2.0 → 2.3.2 | 国际化工具 |
| param | 1.3.2 → 1.4.1 | 声明式参数编程 |
| oct2py | 3.5.3 → 3.5.9 | Python 与 GNU Octave 桥接 |
| rx | 1.2.6 → 1.5.2 | Python 响应式扩展(Rx) |
| pyparsing | 2.1.0 → 2.1.5 | Python 解析模块 |
| pywin32 | 220 → 220.1 | Windows Python 库 |
| pyserial | 3.0.1 → 3.1.1 | 串口访问封装 |
| psutil | 4.1.0 → 4.3.0 | 进程/系统资源信息接口 |
| greenlet | 0.4.9 → 0.4.10 | 轻量级进程内并发 |
| pillow | 3.2.0 → 3.3.0 | Python 图像库(PIL fork) |
| flask | 0.10.1 → 0.11.1 | Web 微框架 |
| werkzeug | 0.11.4 → 0.11.10 | WSGI 工具库 |
| requests | 2.9.1 → 2.10.0 | HTTP 库 |
| requests-toolbelt | 0.6.0 → 0.6.2 | requests 工具扩展 |
| sqlalchemy | 1.0.12 → 1.0.14 | SQL 工具包与 ORM |
| setuptools | 20.6.7 → 24.0.2 | 包安装管理 |
| pip | 8.1.1 → 8.1.2 | 包安装工具 |
| winpython | 1.5.20160402 → 1.6.20160625 | WinPython 发行版工具(含 WPPM 包管理器) |
3.7 关键升级的技术信号
- Jupyter 全线大版本跃进:
ipython 5.0.0、ipywidgets 5.2.2、jupyter-console 5.0.0同时跨入新一代,配合prompt-toolkit 1.0.3,标志 notebook 交互体验的全面升级; - 深度学习栈进入 1.0 时代:
keras 1.0.6与theano 0.8.2的组合让 WinPython 的深度学习开箱可用; - 科学计算底座刷新:
numpy 1.11.1、scipy 0.18.0rc2、statsmodels 0.8.0rc1引入了大批新特性,其中 scipy/statsmodels 选择预发布(rc)版本,说明该版本面向尝鲜用户,追求最新 API; - 自举工具同步更新:
winpython 1.6.20160625是发行版自身管理工具(含 WPPM)的升级,与本次变更清单的自动生成能力(见下节)直接相关。
四、移除的 4 个包
| 包 | 版本 | 说明 |
|---|---|---|
| castra | 0.1.7 | 磁盘分区存储 |
| dill | 0.2.5 | 序列化几乎所有 Python 对象 |
| path.py | 8.1.2 | os.path 的模块封装 |
| pyreadline | 2.1 | IPython 在 Windows 命令行显示彩色文本所需的模块 |
从源码结构看,移除逻辑成立:pyreadline 的移除与 prompt-toolkit 1.0.3 全面接管交互式 REPL 直接相关(IPython 5.0 已不再依赖 pyreadline);castra 功能逐渐被 bcolz/zarr(本版本新增)等分块压缩存储方案替代;dill/path.py 属低活跃度工具类包,在"整体刷新依赖"的版本中被清理。这是典型的"以升级为主、借机清理冗余"的维护策略。
五、源码揭秘:_History.md 是怎么自动生成的
这份 3.4.4.3_History.md 并非手工编写,而是构建流程的自动产物。仓库 wppm/diff.py 提供了完整的实现。
5.1 核心函数:compare_package_indexes
compare_package_indexes(version2, version1=None, searchdir=None, flavor="", architecture=64)(wppm/diff.py)负责生成整份 History 文档。其输出头部正是我们在 3.4.4.3_History.md 看到的格式:
## History of changes for WinPython-64bit 3.4.4.3
The following changes were made to WinPython-64bit distribution since version 3.4.4.2.
流程为:先由 find_previous_version() 从 changelogs/ 目录的文件名中解析出版本号,找出"紧邻的上一版本";再分别读取新旧两份包索引 Markdown,逐节(Tools / Python packages / WheelHouse packages)比较差异。
5.2 差异比较算法:compare_packages
包索引文档(如 changelogs/WinPython-3.4.4.3.md)是固定的 Markdown 表格:
Name | Version | Description
-----|---------|------------
[numpy](http://numpy.scipy.org/) | 1.11.1 | NumPy: multidimensional array processing ...
Package 类通过正则 \<a href="https://link.gitcode.com/i/a64882c8578d2fe71599e6b941813284" target="_blank">([\w\-\:\/\.\_]+)\]\(([^)]+)\) \| ([^\|]*) \| ([^\|]*) 解析每一行,提取 name / url / version / description。随后 compare_packages(old, new)([wppm/diff.py)执行三向分类:
- added:
new中存在而old中不存在 → 输出New packages:一节; - upgraded:两边都存在但版本号不同 → 输出
Upgraded packages:,格式固定为旧版本 → 新版本; - removed:
old中存在而new中不存在 → 输出Removed packages:。
注意 normalize() 会把包名统一转为小写并把连字符替换为下划线再比较,因此 msgpack-python 与 msgpack_python 这类命名差异不会产生误报。
5.3 上一版本如何确定:find_previous_version
find_previous_version() 用 packaging.version.parse 解析 changelogs/ 下所有文件名(正则 WinPython{flavor}-{architecture}bit-(.+)\.(?:txt|md)$),取所有小于目标版本中的最大值,作为比较基准。这保证了:
- 只与"上一个版本"比较,而非任意历史版本;
- 带发布级别(如
3.14.7.1b1)的版本按 PEP 440 正确排序(tests/test_diff_versions.py 专门固定了这一行为); - 不同 flavor、不同架构(32/64 位)互不干扰,避免跨 flavor 的噪声比较。
5.4 构建流水线中的调用位置
在 winpython/build_winpython.py 的构建主流程中,Step 7 "generate changelog" 依次:
- 调用
wppm.Distribution().generate_package_index_markdown()生成当前版本的完整包索引.md,并复制到changelogs/归档; - 调用
diff.compare_package_indexes(changelog_version, searchdir=changelogs_dir, flavor=..., architecture=...)生成_History.md,输出到构建目录旁。
需要留意的是源码注释与测试 tests/test_changelog_files.py 的约定:新的构建流程刻意不再把 _History.md 复制进 changelogs/ 归档。理由在源码注释中写得很清楚——链式"与上一版本比较"的历史文档对读者意义有限(flavor 会在版本周期之间增删,读者大约一年才升级一次),真正有用的是让用户自行比较任意两份索引。仓库中现存的 _History.md 是历史构建时期留下的产物。
六、实战:用 wppm -diff 复现任意两版本差异
wppm(WinPython Package Manager)提供了命令行 diff 工具,既可比较任意两份包索引文件,也可按版本号直接比较:
# 比较两个包索引文件的全部小节
wppm -diff file1.md file2.md
# 等价写法
python -m wppm.diff file1.md file2.md
# 只比较指定小节(如 python 包、tools、wheelhouse)
python -m wppm.diff file1.md file2.md --section python python
# 按版本号比较(从 changelogs 目录读取,可指定 searchdir/flavor/architecture)
python -m wppm.diff 3.4.4.3 3.4.4.2
# 将比较结果写为 _History.md 文件
python -m wppm.diff --write-changelog 3.4.4.3 3.4.4.2
其中按版本比较的底层入口 compare_package_indexes 会自动调用 find_previous_version 寻找上一版本,因此只需给出目标版本号即可:
python -m wppm.diff 3.4.4.3
输出即为与本文关联文档同格式的完整 History 文本。wppm 的完整 CLI 用法可通过 python -m wppm --help 查看(入口见 wppm/main.py)。
七、延伸:从 3.4.4.3 看今天的 WinPython 构建体系
当前仓库的构建方式已演化为"TOML 驱动的元数据构建"(build_winpython_meta.py + winpython_builds.toml):
- flavor(风味):同一 Python 内核可产出多种发行版,如
dot(标准)、slim(精简)、dotf(free-threaded 等),每个 flavor 有独立的 requirements 文件(如 dot_requirements.txt、requirements_slim.txt); - 版本约束:constraints.txt 以
包名>=最低版本的形式全局锁定版本下限,mandatory_requirements.txt 则固定pip、setuptools、wppm三个必需工具; - 一键构建:generate_a_winpython_distropy_meta.bat 调用
build_winpython_meta.py,支持315:slim这类"Python 版本:flavor"选择语法以及--dry-run预演模式。
也就是说,3.4.4.3 时代"手工维护一份变更清单"的流程,如今已被 wppm/diff.py 的自动对比 + build_winpython.py 的流水线生成所取代——这正是 changelog 目录下每个版本同时存在包索引 .md 与 _History.md 两种文档的原因。
结语
WinPython 3.4.4.3 是一次典型的"刷新式"版本:22 个新包补全了云存储、分布式计算、Jupyter 扩展与代码质量工具;80 个升级包把科学计算、可视化、深度学习和 Notebook 生态整体推进了一个时代;4 个移除包则清退了被替代或低活跃的组件。而理解其背后的自动化生成机制(wppm/diff.py 的三向比较 + 构建流水线集成),能帮助你在任何 WinPython 版本间快速定位包变化,也让你读懂整个 changelogs 目录的组织逻辑。
延伸阅读:完整包索引 changelogs/WinPython-3.4.4.3.md;生成机制源码 wppm/diff.py、winpython/build_winpython.py;行为测试 tests/test_diff_versions.py、tests/test_changelog_files.py;项目总览 README.rst。