深入解读 Python 3.4 新特性:基于 KBEngine 内嵌 CPython 源码树的完整指南

原创2026-10-18 22:45:401,620 阅读
文章标签:游戏开发后端

深入解读 Python 3.4 新特性:基于 KBEngine 内嵌 CPython 源码树的完整指南

本文以 KBEngine 仓库内嵌的 CPython 官方发布说明 whatsnew/3.4.rst 为骨架,系统梳理 Python 3.4 相对 3.3 的全部用户可见变化:新增的 7 个标准库模块(asyncio、enum、pathlib、selectors、statistics、tracemalloc、ensurepip)、核心语言与既有模块的改进、CPython 实现层面的内存分配器 / 哈希算法 / 对象终结机制变革,以及废弃、移除与移植注意事项。读完你将领略 Python 3.4 的完整特性清单与关键 API 用法,并能对照仓库内嵌源码理解这些特性如何落地与延续。

版本发布概述与核心亮点

Python 3.4 于 2014 年 3 月 16 日发布(详见 Doc/whatsnew 目录 中的其他版本说明,完整的逐条变更可查阅 Doc/whatsnew/changelog.rst)。与 3.3 相比,这一版本没有新增任何语法特性,核心工作集中在标准库扩充、CPython 实现质量与安全性提升上。发布亮点可归纳为:

  • pip 随发行版内置(PEP 453):新增 ensurepip 模块,标准安装即可引导出 pip。
  • 新创建的文件描述符默认可继承性关闭(PEP 446):显著减少子进程继承句柄引发的隐晦 bug 与安全风险。
  • 解释器新增隔离模式:命令行选项 -I(issue 16499)。
  • codecs 模块对非文本编码的处理大幅改进(多个 issue 合并)。
  • 导入系统引入 ModuleSpec 类型(PEP 451),影响所有 importer 作者。
  • marshal 格式更紧凑高效(issue 16475)。

新库模块层面,一次性新增了 asyncio(PEP 3156)、ensurepip(PEP 453)、enum(PEP 435)、pathlib(PEP 428)、selectors(PEP 3156 一部分)、statistics(PEP 450)、tracemalloc(PEP 454)七个模块;显著改进的库模块包括 functools 的单分派泛型函数(PEP 443)、新的 pickle 协议 4(PEP 3154)、multiprocessing 的 spawn/forkserver 启动方式、email 的 contentmanager 子模块与 EmailMessage 类等。

安全方面同样动作密集:安全的可互换哈希算法(PEP 456)、非继承文件描述符(PEP 446)、隔离模式、hashlib.pbkdf2_hmac 口令派生函数、ssl 模块的 TLSv1.1/TLSv1.2 支持、Windows 系统证书库读取、服务端 SNI、以及 SSLContext 的大量改进;此后又在 3.4.3 中以 PEP 476 实现了标准库 HTTP 客户端默认启用证书校验。

CPython 实现层面引入了安全对象终结(PEP 442)、可配置内存分配器(PEP 445)、Argument Clinic(PEP 436),并顺带修复了模块全局变量在解释器关闭时被置为 None 的长期问题。

核心新特性详解

PEP 453:在 Python 安装中显式引导 pip

ensurepip 模块提供了跨平台的 pip 引导机制。Python 3.4.0 内置的是 pip 1.5.4,此后各维护版本会把捆绑的 pip 升级到该版本发布候选时最新的 pip。默认情况下,所有平台都会安装 pipX 与 pipX.Y 命令(X.Y 为 Python 版本号);在 Windows 与所有平台的虚拟环境中,还会额外安装不带版本号的 pip 命令;其他平台上不带版本号的 pip 通常指向另行安装的 Python 2 版本。

pyvenv 命令行工具与 venv 模块都依赖 ensurepip 让虚拟环境开箱即用地拥有 pip:使用命令行工具时默认安装 pip,而使用 venv 模块 API 时必须显式请求。在 POSIX 上对 CPython 做源码编译时,make install 与 make altinstall 默认都会引导 pip,该行为可通过 configure 选项控制、也可用 Makefile 选项覆盖。Windows 与 Mac OS X 安装器默认随 CPython 安装 pip(用户可取消勾选);Windows 用户需要勾选自动修改 PATH 才能直接在命令行使用 pip,否则可通过 Python Launcher 用 py -m pip 访问。

注意:为避免 Python 2 / Python 3 并行安装冲突,直接调用 ensurepip 时默认只引导带版本号的 pip3 与 pip3.4,需要 --default-pip 选项才会额外请求不带版本号的 pip;多 Python 共存环境下始终可用 python -m pip 避免歧义。

作为配套,官方安装(Installing)与发行(Distributing)文档被重写为入门与 FAQ 短文,多数打包文档迁移到了 Python Packaging Authority 维护的 Python Packaging User Guide;由于迁移未完成,旧版文档仍以 install-index 与 distutils-index 形式保留。

仓库印证:KBEngine 内嵌的 CPython 源码树中,Lib/ensurepip/init.py 完整保留了该机制(含 bootstrap()、--upgrade 选项与 _bundled 目录),其捆绑版本已演进为 pip 19.0.3 / setuptools 40.8.0,可见"ensurepip 内置捆绑版 pip、可离线引导、可升级"的设计从 3.4 延续至今。

PEP 446:新创建的文件描述符不可继承

PEP 446 让新创建的文件描述符默认不可继承。一般而言这正是应用想要的行为:启动新进程时,若当前打开的文件也被子进程继承,会引发各种难以排查的 bug,甚至带来安全隐患。需要继承时可使用新提供的函数与方法:

  • os.get_inheritable() / os.set_inheritable()
  • os.get_handle_inheritable() / os.set_handle_inheritable()(Windows 句柄)
  • socket.socket.get_inheritable() / socket.socket.set_inheritable()

codecs 处理改进:非文本编码的可用性革命

codecs 模块自诞生起就定位为类型无关的动态编解码系统,但长期与 Python 文本模型(尤其是 str/bytes/bytearray 上的类型受限便捷方法)耦合,掩盖了这一事实。Python 3.4 做了三件事:

  1. 正式文档化 codecs.encode() 与 codecs.decode()。这两个函数自 Python 2.4 就存在并有回归测试覆盖,但此前只能靠运行时内省发现。与内建类型方法不同,它们支持任意 codec,不受 Unicode 文本编码限制。
  2. 解释器能识别标准库中的非文本编码,并在用户误用时给出指引性错误:
>>> b"abcdef".decode("hex")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
LookupError: 'hex' is not a text encoding; use codecs.decode() to handle arbitrary codecs

>>> "hello".encode("rot13")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
LookupError: 'rot13' is not a text encoding; use codecs.encode() to handle arbitrary codecs

>>> open("foo.txt", encoding="hex")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
LookupError: 'hex' is not a text encoding; use codecs.open() to handle arbitrary codecs
  1. 编解码异常链:在不破坏向后兼容的前提下,编解码过程中产生的异常会被包装为同类型链式异常,并指名负责产生错误的 codec:
>>> import codecs

>>> codecs.decode(b"abcdefgh", "hex")
Traceback (most recent call last):
  File "/usr/lib/python3.4/encodings/hex_codec.py", line 20, in hex_decode
    return (binascii.a2b_hex(input), len(input))
binascii.Error: Non-hexadecimal digit found

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
binascii.Error: decoding with 'hex' codec failed (Error: Non-hexadecimal digit found)

>>> codecs.encode("hello", "bz2")
Traceback (most recent call last):
  File "/usr/lib/python3.4/encodings/bz2_codec.py", line 17, in bz2_encode
    return (bz2.compress(input), len(input))
  File "/usr/lib/python3.4/bz2.py", line 498, in compress
    return comp.compress(data) + comp.flush()
TypeError: 'str' does not support the buffer interface

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: encoding with 'bz2' codec failed (TypeError: 'str' does not support the buffer interface)

配合这些改进,3.2 版本恢复的非 Unicode codec 便捷别名得以发挥真正作用——二进制数据的十六进制互转现在可以这样写:

>>> from codecs import encode, decode
>>> encode(b"hello", "hex")
b'68656c6c6f'
>>> decode(b"68656c6c6f", "hex")
b'hello'

标准库提供的二进制与文本变换详见 codecs 文档中的 binary transforms / text transforms 两节。该系列改动由 Nick Coghlan 在 issue 7475、17827、17828、19619 中贡献。

PEP 451:为导入系统引入 ModuleSpec 类型

PEP 451 将导入机制加载模块所需的信息封装为"模块规格(module specification)",既简化了导入实现本身,也简化了若干导入相关 API,并为后续导入改进铺路。所有面向公众的变更完全向后兼容,对除 importer 作者以外的所有人透明:关键的 finder / loader 方法被废弃但仍可继续工作;新导入器应实现 PEP 中定义的新方法(如 find_spec / exec_module),旧导入器应迁移到新方法。需要替换的方法清单见本文"废弃"一节。

其他语言级变更

  • Unicode 数据库升级到 UCD 6.3。
  • min / max 新增关键字-only 参数 default,用于在迭代器为空时返回指定值(issue 18111)。
  • 模块对象现在可被 weakref 引用。
  • 模块的 __file__ 属性默认总是绝对路径(唯一例外是直接用相对路径执行脚本时的 __main__.__file__)(issue 18416)。
  • 除 UTF-7 外的所有 UTF-* codec 在编码与解码时默认拒绝 surrogates,除非使用 surrogatepass 错误处理器;UTF-16 解码器(接受合法代理对)与 UTF-16 编码器(编码非 BMP 字符时产生代理对)例外(issue 12892)。
  • 新增德文 EBCDIC codec cp273(issue 1097797)与乌克兰 codec cp1125(issue 19668)。
  • bytes.join() / bytearray.join() 现在接受任意 buffer 对象作为参数(issue 15958)。
  • int 构造函数对 base 参数接受任何实现 __index__ 方法的对象(issue 16772)。
  • 帧对象新增 frame.clear() 方法,清除帧对局部变量的所有引用(issue 17934)。
  • memoryview 现注册为 collections.abc.Sequence,并支持内建 reversed(issue 18690、19078)。
  • 得益于 Argument Clinic 与 inspect/pydoc 的改动,help() 展示的签名在多处得到修正与改进。
  • __length_hint__ 正式成为语言规范的一部分(PEP 424,issue 16148)。

新增模块

asyncio:异步 I/O 的标准事件循环框架

新模块 asyncio(PEP 3156)为 Python 提供了标准的可插拔事件循环模型:标准库获得坚实的异步 I/O 支持,同时让其他事件循环实现更容易与标准库及彼此互操作。在 Python 3.4 中该模块被定义为 provisional API(临时 API,接口可能在后续版本调整)。其实现由 Guido van Rossum 主导。

ensurepip:pip 安装器的引导器

ensurepip 是 PEP 453 实现的主要基础设施。常规情况下终端用户无需直接与之交互,但如果自动引导被拒绝,可以用它手动引导 pip。它包含一份随 CPython 版本捆绑的 pip 副本(更新至该 CPython 版本首个发布候选时的状态,维护版与特性版均如此),且不访问互联网;安装环境有网络时,引导出的捆绑 pip 可用于升级自身。注意:升级后的 pip 被视为独立安装的包,卸载 Python 时不会一并移除。

模块命名"ensure"pip 的由来是:若 pip 已安装则什么都不做;它还提供 --upgrade 选项,当已安装的 pip 旧于捆绑版时执行安装。

enum:标准枚举类型

新模块 enum(PEP 435)提供了枚举类型的标准实现,让其他模块(如 socket)能以此把不透明的整数常量替换为向后兼容的枚举值,从而提供更丰富的错误信息与更好的调试支持。

pathlib:面向对象的文件系统路径

新模块 pathlib(PEP 428)提供语义适配不同操作系统的文件系统路径类。路径类分为纯路径(pure paths)——仅提供纯计算操作、不涉及 I/O,与具体路径(concrete paths)——继承纯路径并额外提供 I/O 操作。Python 3.4 中为 provisional API。

selectors:高级高效的 I/O 多路复用

新模块 selectors 在实现 PEP 3156 时创建,建立在 select 模块原语之上,提供高级且高效的 I/O 多路复用抽象。

statistics:数值稳定的基础统计库

新模块 statistics(PEP 450)把核心统计功能直接带入标准库,支持对数据序列计算均值(mean)、中位数(median)、众数(mode)、方差(variance)与标准差(standard deviation),且实现注重数值稳定性。

tracemalloc:追踪 Python 内存分配

新模块 tracemalloc(PEP 454)是追踪 Python 分配内存块的调试工具,提供:

  • 定位对象在何处被分配;
  • 按文件名与行号统计分配的内存块:总大小、数量与平均大小;
  • 计算两个快照之间的差异以检测内存泄漏。

仓库印证:上述七个模块全部存在于仓库内嵌 CPython 源码树中:Lib/asyncio、Lib/ensurepip、Lib/enum.py、Lib/pathlib.py、Lib/selectors.py、Lib/statistics.py、Lib/tracemalloc.py,验证了这些 3.4 新模块在后继版本中的持续演进。

改进的既有模块

抽象基类与类型系统

  • abc:新增 abc.get_cache_token() 判断何时应使受对象图变化影响的缓存失效(issue 16832);新增基类 abc.ABC,其元类即 ABCMeta,用 ABC 做基类与 metaclass=abc.ABCMeta 效果一致但更简洁易读(issue 16049)。
  • types:新增 types.DynamicClassAttribute 描述符——经实例查找时表现如常,经类查找时路由到类的 __getattr__,从而允许类上有活动的 property 与同名虚拟属性并存(参见 Enum 的用法)(issue 19030)。
  • inspect:提供基础命令行界面(python -m inspect)快速展示模块、类与函数的源码等信息(issue 18626);新增 inspect.unwrap() 解开由 functools.wraps 等创建的包装函数链(issue 13266);对自定义 __dir__ 与元类动态类属性的支持大幅增强(enum 实现的副产品,issue 18929、19030);getfullargspec/getargspec 改为基于 signature API,支持 __signature__ 属性、Argument Clinic 元数据、functools.partial 对象等更广的 callable——注意它们仍忽略 __wrapped__、且报告已绑定方法时保留已绑定的首参,需要这些能力请直接用 inspect.signature(issue 17481);inspect.signature 现在支持 CPython 函数的鸭子类型,包括 Cython 编译的函数(issue 17159)。
  • ipaddress:3.3 中以 provisional API 加入,3.4 起移除该限定、成为受常规向后兼容约束的稳定 API;新增 IPv4Address.is_global 属性判断地址是否全局可路由(issue 17400)。

数据结构、函数式与弱引用

  • collections:ChainMap.new_child() 接受 m 参数指定加入链中的子映射,允许使用已有映射或自定义映射类型(issue 16613)。
  • operator:新增 operator.length_hint(),提供 __length_hint__ 特殊方法的规范实现(PEP 424,issue 16148);新增纯 Python 版 operator 模块供参考与替代实现使用(issue 16694)。
  • weakref:新增 weakref.WeakMethod 模拟对绑定方法的弱引用(issue 14631);新增 weakref.finalize 在对象被垃圾回收时调用回调,无需小心管理弱引用自身的生命周期(issue 15528);weakref.ref 关联的回调现通过 __callback__ 属性暴露(issue 17643)。
  • functools:新增 functools.partialmethod 描述符,把偏参数应用带到描述符层面,也让任意 callable(含 partial 实例)在类定义中表现得像普通实例方法(issue 4331);新增 functools.singledispatch 装饰器,为标准库带来单分派泛型函数支持——面向对象把对共同数据集的多种操作分组进类,泛型函数则把同一操作对不同类型数据的多种实现分组(PEP 443);functools.total_ordering 现在支持底层比较函数返回 NotImplemented(issue 10042);标准库新增纯 Python 版 partial(CPython 中以 C 加速版覆盖,供其他实现使用)(issue 12428)。

I/O 与文件系统

  • filecmp:新增 filecmp.clear_cache() 清空比较缓存(缓存基于 os.stat 信息判断文件是否变化),可用于文件在文件系统修改时间分辨率内被修改并重检的场景(issue 18149);新增 filecmp.DEFAULT_IGNORES 属性提供 dircmp 的 ignore 参数默认目录列表(issue 15442)。
  • mmap:mmap 对象现在可被 weakref(issue 4885)。
  • os:新增 os.get_inheritable/os.set_inheritable(文件描述符)与 os.get_handle_inheritable/os.set_handle_inheritable(Windows 句柄)读写继承标志;新增 os.cpu_count() 报告平台可用 CPU 数(无法确定时返回 None),multiprocessing.cpu_count() 改由其实现(issue 17914);os.path.samestat 在 Windows 可用,os.path.samefile 在 Unix 与 Windows 间共享实现(issue 11939);os.path.ismount 现能识别 Windows 驱动根目录下挂载的卷(issue 9035);os.open 在支持的平台上支持 O_PATH(不打开的裸文件描述符)与 O_TMPFILE(匿名临时文件,3.4.0 仅在 Linux 内核 3.11+ 且具备 uapi 头文件时可用)(issue 18673)。
  • shutil:shutil.copyfile 在源与目标为同一文件时抛出具体异常子类 shutil.SameFileError,便于应用针对处理(issue 1492704)。
  • tarfile:支持以脚本方式(直接执行或 -m)简单创建与解包 tar 归档(issue 13477)。
  • zipfile:PyZipFile.writepy 新增 filterfunc 选项控制加入归档的目录与文件(例如排除测试文件)(issue 19274);ZipFile/PyZipfile 的 allowZip64 参数默认改为 True(issue 17201)。
  • textwrap:TextWrapper 新增 max_lines(限制输出行数)与 placeholder(截断后附加的占位串);新便捷函数 textwrap.shorten 把输入空白折叠为单空格并按 width 截断为单行、以占位符(默认 [...])结尾(issue 18585、18725)。

正则与文本处理

  • re:新增 re.fullmatch() 函数与 regex.fullmatch() 方法,同时锚定字符串两端,显式表达"整个匹配"意图,规避 $ 在改代码或增加备选项时丢失引发的细微 bug(issue 16203);正则对象与匹配对象的 repr 分别包含 pattern/flags 与 start/end/匹配部分(issue 13592、17087)。
  • pprint:PrettyPrinter 与 pformat/pprint 新增 compact 选项——为 True 时序列在每行(缩进后)尽量排入 width 内元素(issue 19132);长字符串改用 Python 常规续行语法换行(issue 17150)。
  • html:新增 html.unescape() 把 HTML5 字符引用转换为对应 Unicode 字符(issue 2927);html.parser.HTMLParser 接受新关键字参数 convert_charrefs,为 True 时自动转换所有字符引用,默认 False 以保持兼容、但未来版本将改为 True,建议显式设置并更新代码(issue 13633);HTMLParser 的 strict 参数废弃(issue 15114)。

网络、HTTP 与序列化协议

  • http:http.server.BaseHTTPRequestHandler.send_error 接受可选 explain 参数提供扩展错误描述,按 error_message_format 格式化并作为错误响应体(issue 12921);http.server 命令行新增 -b/--bind 指定监听地址(issue 17764)。
  • smtpd:SMTPServer/SMTPChannel 接受 map 关键字参数并透传给 asynchat.async_chat,避免影响全局 socket 映射(issue 11959)。
  • smtplib:SMTPException 改为 OSError 子类,让只关心"是否出错"的代码在单个 try/except 中同时捕获 socket 层与 SMTP 协议层错误(issue 2118)。
  • socket:支持 CAN_BCM 协议(issue 15359);新增 get_inheritable/set_inheritable 方法;AF_*/SOCK_* 常量改为基于新 enum 模块的枚举值,调试时可打印有意义的名字而非整数"魔数";AF_LINK 常量在 BSD 与 OSX 可用;inet_pton/inet_ntop 在 Windows 上受支持(issue 7171)。
  • urllib:urllib.request 通过 DataHandler 支持 data: URL(issue 16423);Request 的 HTTP 方法可通过子类 Request.method 类属性指定(issue 18978);Request 对象现在可复用——修改 full_url 或 data 后所有相关内部属性自动更新,可对同一 Request 以不同 data 多次调用 OpenerDirector.open,并新增 remove_header() 方法(issue 16464、17485、17272);urllib.error.HTTPError 新增 headers 属性访问错误相关的 HTTP 响应头(issue 15701)。
  • sqlite3:sqlite3.connect 新增布尔参数 uri,指示 database 参数为 URI(issue 13773)。
  • plistlib:采用标准序列化协议模式,新增 load/dump/loads/dumps(旧 API 废弃);除 XML plist(FMT_XML)外新增二进制 plist(FMT_BINARY)支持(issue 14455)。
  • struct:新增 struct.iter_unpack() 函数与 Struct.iter_unpack() 方法,对流式缓冲中重复出现的同格式数据进行流式解包(issue 17804)。
  • marshal:默认 marshal 版本提升到 3,新版本恢复 Python 2 中"仅记录一份 interned 字符串并在反序列化时保持 intern"的行为,并把"单份拷贝"能力扩展到任意对象类型(含递归引用处理),从而减小 .pyc 文件体积与模块从 .pyc/.pyo 加载时占用的内存(issue 16475、19219)。
  • pickle:支持(但默认不启用)新的协议 4(PEP 3154),解决嵌套类、超大字符串与容器、__new__ 只接受关键字参数的类等旧协议存在的问题,并带来效率提升。
  • dbm:dbm.open 对象支持上下文管理协议,with 块结束自动 close(issue 19282)。
  • shelve:Shelf 实例可用于 with 语句并在块结束自动关闭(issue 13896)。
  • base64:编解码函数在原本要求 bytes/bytearray 的位置改接受任意 bytes-like 对象(issue 17839);新增 a85encode/a85decode(Ascii85 及其 Adobe 变体)与 b85encode/b85decode(git/mercurial Base85)函数(issue 17618)。

安全与加密

  • hashlib:新增 hashlib.pbkdf2_hmac() 实现 PKCS#5 口令派生函数 2(PBKDF2)(issue 18582);哈希对象的 hash.name 属性成为正式受支持接口(issue 18532)。
  • hmac:hmac.new 的 key 参数接受 bytearray 与 bytes,msg 参数(new 与 HMAC.update)接受 hashlib 支持的任何类型(issue 18240);digestmod 可以是 hashlib 识别的任意摘要名,且"默认 MD5"的行为被废弃、未来版本将不再有默认值(issue 17276);新增 HMAC.block_size 与 HMAC.name 属性(并正式文档化 digest_size),使 hmac 完全符合 PEP 247 API(issue 18775)。
  • ssl(改动密集,详见下文小节):TLSv1.1/TLSv1.2 支持、create_default_context、证书与 CRL 操作、SNI 等。
  • base64 相关安全编解码见上文。

ssl 模块专项

  • 新增 PROTOCOL_TLSv1_1 与 PROTOCOL_TLSv1_2,前提是 Python 链接 OpenSSL 1.0.1 或更高(issue 16692)。
  • 新增 ssl.create_default_context() 提供"兼容性与安全性合理平衡"的标准 SSLContext,其设置比 SSLContext 构造器默认值更严格,且未来可能随最佳实践变化而调整;推荐做法是用它获取 SSLContext、按需修改、再作为 context 参数传入相应 stdlib API(issue 19689)。
  • SSLContext.load_verify_locations() 接受新可选参数 cadata,以字符串/字节直接提供 PEM/DER 编码证书(issue 18138)。
  • 新增 ssl.get_default_verify_paths() 返回命名元组,描述 set_default_verify_paths() 设置 OpenSSL 默认 cafile/capath 时所用的路径与环境变量,有助于调试默认校验问题(issue 18143)。
  • SSLContext 新增 cert_store_stats()(报告已加载的 X.509 证书、X.509 CA 证书与 CRL 数量)与 get_ca_certs()(返回已加载 CA 证书列表)(issue 18147)。
  • OpenSSL 0.9.8+ 时 SSLContext 新增 verify_flags 属性,可组合 VERIFY_DEFAULT、VERIFY_CRL_CHECK_LEAF、VERIFY_CRL_CHECK_CHAIN、VERIFY_X509_STRICT 控制证书校验过程——注意 OpenSSL 默认不做任何 CRL 校验(issue 8813)。
  • 新增 SSLContext.load_default_certs() 从随平台变化的默认位置加载默认 CA 证书,既可为客户端加载服务端认证证书(purpose=SERVER_AUTH),也可为服务端校验客户端证书加载证书(purpose=CLIENT_AUTH)(issue 19292)。
  • 新增两个仅 Windows 的函数 ssl.enum_certificates() 与 ssl.enum_crls(),从 Windows 证书库读取证书与 CRL(issue 17134)。
  • 通过新的 SSLContext.set_servername_callback() 支持服务端 SNI(issue 8109)。
  • SSLSocket.getpeercert() 返回的字典新增 crlDistributionPoints、calIssuers、OCSP URI 等 X509v3 扩展项(issue 18379)。
  • 所有支持 SSL 的标准库模块均支持服务器证书校验,含主机名匹配(ssl.match_hostname)与 CRL(SSLContext.load_verify_locations)。

日志、调试与运行环境

  • logging:TimedRotatingFileHandler 新增 atTime 参数指定每日轮换的时刻(issue 9556);SocketHandler/DatagramHandler 支持 Unix 域套接字(port=None);fileConfig 的 fname 接受 RawConfigParser 子类实例(issue 16110);logging.config.listen 新增 verify 关键字参数在应用前校验收到的配置(issue 15452)。
  • pdb:增强对生成器、yield、yield from 的处理,尤其利于调试 asyncio 程序(issue 16596);移除了 print 命令——此前 Python 3 的 pdb print 是 p 命令的别名(打印 repr 而非 str)且遮蔽了 print 函数,移除后恢复了 pdb 提示符下对 print 函数的访问(issue 18764)。
  • traceback:新增 traceback.clear_frames() 清除 traceback 所有帧的局部变量,降低内存占用(issue 1565525)。
  • sys:新增 sys.getallocatedblocks() 返回解释器当前分配的内存块数(默认 --with-pymalloc 下即 PyObject_Malloc 分配的块数),可用于追踪内存泄漏、尤其适合接入测试套件自动化(issue 13390);解释器进入交互模式前检查 sys.__interactivehook__ 属性,存在则以无参方式调用(在 PYTHONSTARTUP 之后检查,site 模块会设置一个在支持 readline 的平台启用 tab 补全与历史保存到 ~/.python-history 的函数;不想要此行为可在 PYTHONSTARTUP、sitecustomize 或 usercustomize 中删除该属性或替换为其他 callable)(issue 5845)。
  • gc:新增 gc.get_stats() 返回自解释器启动以来的三个分代收集统计字典列表(issue 16351)。
  • glob:新增 glob.escape() 转义文件名中的特殊字符,使其不被当作通配扩展而按字面匹配(issue 8402)。

多进程与线程

  • multiprocessing:Unix 上新增 spawn 与 forkserver 两种进程启动方式(start methods),使进程与线程混用更健壮,spawn 语义与 Windows 上一直以来的行为一致;新增 get_all_start_methods()(列出平台可用方式)、get_start_method()(当前方式)、set_start_method()(设置方式)(issue 8713);新增"上下文(context)"概念,get_context() 返回使用指定 start method 的上下文,其 API 与 multiprocessing 模块本身相同,可用于创建该上下文内的 Pool 等对象,使框架与应用(或应用内不同部分)互不干扰地使用 multiprocessing(issue 18999);除旧的 fork 方式外,子进程不再继承父进程多余的句柄/文件描述符(issue 8713 一部分);spawn/forkserver 方式下依赖 runpy(即 -m 开关的实现)在子进程中正确初始化 __main__,解决 multiprocessing 与 -m、显式相对导入组合时子进程失败的边角问题(issue 19946)。
  • threading:新增 threading.main_thread() 获取主线程对象(issue 18882)。

测试框架

  • doctest:新增选项标志 FAIL_FAST 在首个失败出现时立即终止(issue 16522);命令行改用 argparse,新增 -o(在命令行指定 doctest 选项)与 -f(即 -o FAIL_FAST 的简写)(issue 11390);现在会查找扩展模块 __doc__ 字符串中的 doctest(issue 3158)。
  • unittest:新增 TestCase.subTest() 上下文管理器,可在循环中动态生成子测试——单个测试方法可产出无限个分别标识、分别计数、且即使部分失败也全部运行的测试:
class NumbersTest(unittest.TestCase):
    def test_even(self):
        for i in range(6):
            with self.subTest(i=i):
                self.assertEqual(i % 2, 0)

该例产生六个子测试,verbose 输出中每个以变量名与值(i=0、i=1…)标识(issue 16997)。此外:unittest.main 的 defaultTest 接受测试名可迭代对象(此前仅接受单个字符串)(issue 15132);测试发现阶段(模块级)抛出 SkipTest 现报告为跳过而非错误(issue 16935);TestLoader.discover 对发现文件排序以获得一致测试顺序(issue 16709);TestSuite 在测试成功运行后即释放对测试的引用(可重写 _removeTestAtIndex 恢复旧行为)(issue 11798);新增断言上下文管理器 assertLogs 验证代码块用 logging 记录了日志,默认任意 logger、INFO 及以上级别,可指定 logger 名与最低级别,返回对象可查询 LogRecord 与格式化消息(issue 18937);测试发现支持 namespace packages(issue 17457);unittest.mock 对象按规范签名匹配调用,参数可按位置或名称匹配(issue 17015);mock_open 对象新增 readline 与 readlines 方法(issue 17467)。

音频与媒体

  • aifc:getparams() 返回 namedtuple(issue 17818);aifc.open 支持上下文管理协议(issue 16486);writeframesraw/writeframes 接受任意 bytes-like 对象(issue 8311)。
  • audioop:支持 24 位采样(issue 12866);新增 byteswap() 在大端/小端采样间转换(issue 19641);所有函数接受任意 bytes-like 对象,字符串不再接受——以前不工作,现在立即报错(issue 16685)。
  • sunau:getparams() 返回 namedtuple(issue 18901);sunau.open 支持上下文管理协议(issue 18878);AU_write.setsampwidth 支持 24 位采样(issue 19261);writeframesraw/writeframes 接受 bytes-like 对象(issue 8311)。
  • wave:getparams() 返回 namedtuple(issue 17487);wave.open 支持上下文管理协议(issue 17616);支持向不可 seek 的文件写输出(issue 5202);Wave_write.writeframesraw/writeframes 接受 bytes-like 对象(issue 8311)。

其他模块

  • argparse:FileType 接受 encoding 与 errors 参数并透传给 open(issue 11175)。
  • colorsys:RGB-YIQ 转换系数位数扩充以匹配 FCC NTSC 版本,结果变化小于 1%(issue 14323)。
  • contextlib:新增 contextlib.suppress 上下文管理器,让"故意抑制单条语句异常"的意图更清晰(issue 15806、19266);新增 contextlib.redirect_stdout 上下文管理器,把写入 sys.stdout 的输出重定向到任意流,或与 io.StringIO 结合重定向到字符串(例如捕获实现命令行界面的函数输出),仅建议用于工具脚本因为它影响全局 sys.stdout(issue 15805);文档新增单次使用/可复用/可重入上下文管理器的讨论。
  • dis:show_code/dis/distb/disassemble 接受关键字-only file 参数控制输出位置;模块围绕新的 dis.Instruction 类重构;新增 dis.get_instructions() 迭代器逐条产出指令流;新增 dis.Bytecode 类提供面向对象的字节码检查 API(含 dis() 方法与 from_traceback() 类方法);新增 dis.stack_effect() 计算给定操作码与参数对栈的影响(issue 11816、17916、19722)。示例:
>>> import dis
>>> for instr in dis.get_instructions(lambda x: x + 1):
...     print(instr.opname)
LOAD_FAST
LOAD_CONST
BINARY_ADD
RETURN_VALUE
  • email:Message.as_string() 接受 policy 参数覆盖默认策略(issue 18600);新增 Message.as_bytes() 生成消息的 bytes 表示,Message.__bytes__ 调用它,bytes(mymsg) 因此返回完整格式化消息的 bytes(issue 18600);Message.set_param() 接受 replace 关键字参数——指定时更新对应头且不改变其位置,默认 False 保持兼容(issue 18891);新增 Message 子类 EmailMessage 与 MIMEPart、新子模块 email.contentmanager 与 email.policy.EmailPolicy.content_manager 属性,让从邮件提取/插入内容大幅简化(作为 provisional API 加入,计划 3.5 转正),这些 API 完成了 email6 项目的主体工作(issue 18891)。
  • importlib:InspectLoader 新增 source_to_code() 方法(默认等价 compile(data, path, 'exec', dont_inherit=True))(issue 15627)与 get_code() 默认实现(性能敏感场景建议覆盖)(issue 18072);importlib.reload 从 imp 迁来(issue 18193);importlib.util.MAGIC_NUMBER 提供字节码版本号(issue 18192);importlib.util.cache_from_source/source_from_cache 替代 imp 同名函数(issue 18194);引导用 NamespaceLoader 符合 InspectLoader ABC,runpy 与 python -m 可用于 namespace 包(issue 18058);importlib.util.decode_source 以通用换行处理从字节解码源码(用于实现 get_source);ExtensionFileLoader.get_filename() 补上遗漏的方法(issue 19152)。
  • idlelib / IDLE:随版本持续改进,累积变更见 Lib/idlelib/NEWS.txt(也可从 IDLE 的 Help → About IDLE 对话框查看)。
  • poplib:新增 POP3.capa()(返回 POP 服务器通告的能力列表)与 POP3.stls()(若服务器支持则把明文 POP3 会话切换到加密会话)(issue 4473)。
  • pty:pty.spawn 返回子进程的 os.waitpid 状态值而非 None。
  • resource:新增 resource.prlimit() 查询/设置其他进程的资源限制(Linux 内核 2.6.36+、glibc 2.13+)(issue 16595);Linux 新增 RLIMIT_MSGQUEUE、RLIMIT_NICE、RLIMIT_RTPRIO、RLIMIT_RTTIME、RLIMIT_SIGPENDING 常量(issue 19324);FreeBSD 9+ 新增 RLIMIT_SBSIZE、RLIMIT_SWAP、RLIMIT_NPTS(issue 19343)。
  • select:epoll 对象支持上下文管理协议(issue 16488);devpoll 对象新增 fileno()/close() 方法与 closed 属性(issue 18794)。
  • stat:改由 C 实现(_stat)支撑——多数值未标准化且依赖平台;新增 S_IFDOOR、S_IFPORT、S_IFWHT 标志(issue 11016)。
  • subprocess:check_output 接受 input 参数提供命令的 stdin 内容(issue 16624);getstatus/getstatusoutput 在 Windows 上工作(实际 3.3.4 已顺带引入)(issue 10197)。
  • venv:新增 csh 与 fish shell 的激活脚本(issue 15417);EnvBuilder 与 venv.create 新增关键字参数 with_pip(默认 False)控制是否在虚拟环境安装 pip(issue 19552,PEP 453 实现的一部分)。
  • xml.etree:新增 XMLPullParser 供非阻塞应用解析 XML(issue 17741);tostring/tostringlist/ElementTree.write 新增关键字-only 参数 short_empty_elements 控制无内容元素写成 <tag /> 还是 <tag></tag>(issue 14377)。

CPython 实现变更

PEP 445:定制 CPython 内存分配器

PEP 445 在 C 层面新增接口,允许定制 CPython 解释器内的内存分配策略,由 Victor Stinner 编写并实现。

PEP 442:安全对象终结

PEP 442 消除了 CPython 对象终结的既有限制与怪癖:带 __del__ 方法的对象、以及带 finally 子句的生成器,现在可以安全地在引用环中被终结。同时,解释器关闭时不再在多数情况下强制把模块全局变量置为 None,改由循环垃圾收集器正常运行处理——这消除了自循环 GC 引入以来困扰 Python 的一整类解释器关闭时错误(通常涉及 __del__)。

PEP 456:安全且可互换的哈希算法

PEP 456 是对此前哈希算法安全修复工作的延续,应对公开 API 基于字典查找可能遭受的 DoS 攻击。它统一了 CPython 的哈希代码,使打包商更容易替换为不同哈希算法,并在具备 64 位数据类型的平台上把默认实现切换为 SipHash,与旧 FNV 算法相比性能差异可忽略。PEP 还向 sys.hash_info 结构序列新增字段描述当前二进制使用的哈希算法,除此之外不改动任何既有 CPython API。

PEP 436:Argument Clinic

Argument Clinic 现已是 CPython 构建流程的一部分,用于简化 C 实现的 builtin 与标准库扩展模块签名的定义与维护。3.4 中若干标准库扩展模块已改用 Argument Clinic,pydoc/inspect 相应更新;预计 3.4 维护版会为更多 C 实现的 callable 增加签名元数据。注意:Argument Clinic 在 3.4 中不作为面向第三方公开 API 提供。

其他构建与 C API 变更

  • 新增 PyType_GetSlot() 进入稳定 ABI,可在使用 limited API 时从命名类型槽获取函数指针(issue 17162)。
  • 新增预初始化 API Py_SetStandardStreamEncoding(),让嵌入 CPython 解释器的应用可靠地为标准流指定编码与错误处理器(issue 16129)。
  • 多数不改写字符串参数的 Python C API 现正确标记为接受 const char * 而非 char *(issue 1772673)。
  • 新增 shell 版 python-config,即使没有可用解释器(如交叉编译场景)也能使用。
  • PyUnicode_FromFormat 支持 %s、%A、%U、%V、%S、%R 的宽度与精度说明(issue 7330)。
  • 新增 PyStructSequence_InitType2() 补充既有 PyStructSequence_InitType,区别在于成功返回 0、失败返回 -1。
  • CPython 源码可用 GCC/clang 的地址健全性检查(ASAN)特性编译:小对象分配器的误报已消除(issue 18596)。
  • Windows 构建启用地址空间布局随机化(ASLR)与数据执行保护(DEP)(issue 16632)。
  • 新增 PyObject_LengthHint(),是 operator.length_hint 的 C API 对应物(issue 16148)。

其他实现改进

  • 隔离模式 -I:python 命令新增选项 -I 进入"隔离模式"——sys.path 既不包含脚本目录也不包含用户 site-packages,所有 PYTHON* 环境变量被忽略(隐含 -s 与 -E),未来可能施加更多限制,目标是让脚本执行与用户环境隔离,适合运行系统脚本,多数 POSIX 系统上建议在系统脚本 #! 行使用(issue 16499)。
  • 交互式解释器在支持 readline 的系统上默认启用 tab 补全,历史默认启用并写入/读取 ~/.python-history(issue 5845)。
  • --version 输出改到标准输出而非标准错误(issue 18338),argparse 与其余可脚本调用模块同理(issue 18920、18922)。
  • Windows 安装器注册扩展名时把 .py 加入 PATHEXT,用户可在命令提示符直接输入脚本名(不带 .py 后缀)运行(issue 18569)。
  • 新增 make coverage-report 目标:构建 python、运行测试套件并用 gcov/lcov 生成 C 代码库的 HTML 覆盖率报告。
  • 回归测试套件的 -R 选项新增用 sys.getallocatedblocks() 检查内存分配泄漏(issue 13390)。
  • python -m 现在支持 namespace 包。
  • stat 模块改由 C 实现,常量值来自 C 头文件而非硬编码(见上文)。
  • 从单个 OS 模块(.so/.dll)加载多个 Python 模块现能正确工作(此前静默返回文件中第一个 Python 模块)(issue 16421)。
  • 新增操作码 LOAD_CLASSDEREF,修复类体中自由变量加载的 bug(与某些 __prepare__ 用法相关)(issue 17853)。
  • Victor Stinner 用基于 PEP 445 的 pyfailmalloc 工具定位并修复了一批 MemoryError 相关崩溃(issue 18408、18520)。
  • pyvenv 新增 --copies(即使系统默认符号链接也改用拷贝)与 --without-pip(抑制自动引导 pip)选项(issue 18807、19552)。
  • PYTHONIOENCODING 环境变量的取值中编码名变为可选,可只设置错误处理器而不改默认编码(issue 18818)。
  • bz2、lzma、gzip 的 open 函数支持 x(排他创建)模式(issue 19201、19222、19223)。

显著性能优化

  • UTF-32 解码器提速 3~4 倍(issue 14625)。
  • 集合哈希碰撞成本降低:哈希表每次探测先在相邻的键/哈希对序列上检查(默认额外线性探测 9 次,可在编译期以 LINEAR_PROBES 调整,设为 0 完全关闭),利用缓存局部性降低碰撞解析开销,方案是线性探测与开放寻址的混合(issue 18771)。
  • 解释器启动提速约 30%:启动时加载更少模块(re、collections、locale 等不再默认导入),marshal 模块加载编译后 Python 代码更快(issue 19219、19218、19209、19205、9548)。
  • bz2.BZ2File 在多数场景与 Python 2 版本相当或更快,lzma.LZMAFile 也经优化(issue 16034)。
  • random.getrandbits 对小整数(最常见场景)提速 20%~40%(issue 16674)。
  • 利用新的字符串存储格式,字符串的 pickle 显著加快(issue 15596)。
  • 修复 io.FileIO.readall 的性能问题,尤其影响 Windows,显著加速通过 subprocess 管道传输大量数据(issue 15758)。
  • html.escape 提速 10 倍(issue 18020)。
  • Windows 上 obmalloc 改用原生 VirtualAlloc 替代 CRT malloc,人工基准显示约 3% 内存节省。
  • os.urandom 使用惰性打开的持久文件描述符,避免多线程并行时占用大量文件描述符(issue 18756)。

废弃(Deprecated)

启用弃用告警(如 -Wd)时,多数已废弃 API 会发出 DeprecationWarning,计划在 Python 3.5 或更晚移除。

Python API 层面的废弃

  • importlib(PEP 451 相关):importlib.find_loader 由 importlib.util.find_spec 取代;PathFinder.find_module 由 PathFinder.find_spec 取代;MetaPathFinder.find_module 由 MetaPathFinder.find_spec 取代;PathEntryFinder.find_loader/find_module 由 PathEntryFinder.find_spec 取代;各 xxxLoader ABC 的 load_module 方法(Loader/InspectLoader/FileLoader/SourceLoader)不再需要实现,改为实现 exec_module;Loader.module_repr、importlib.util.module_for_loader、set_loader、set_package 不再需要(导入系统自动处理其职能)。
  • imp 模块进入待废弃状态(为兼容 Py2/3 代码库暂不安排移除)。
  • formatter 模块待废弃,计划 Python 3.6 移除。
  • hmac.new 的默认 digestmod 为 MD5 的行为废弃,Python 3.6 将要求显式指定。
  • ftplib 内部 Netrc 类发出 DeprecationWarning,3.5 完全移除。
  • subprocess.Popen.wait 未文档化的 endtime 参数废弃,预计 3.5 移除。
  • HTMLParser 的 strict 参数废弃。
  • plistlib 的 readPlist/writePlist/readPlistFromBytes/writePlistToBytes 废弃,改用 load/dump/loads/dumps;plistlib.Data 废弃,直接用 bytes 构造器。
  • sysconfig 键 SO 废弃,由 EXT_SUFFIX 取代。
  • 各种 open 函数接受的 U 模式废弃(Python 3 中无实际作用,应以 io.TextIOWrapper 的 newline 参数替代)。
  • xml.etree.ElementTree.iterparse 的 parser 参数与 XMLParser 的 html 参数废弃;为移除后者做准备,XMLParser 的所有参数应改用关键字传递。

特性层面的废弃

  • 以 -n(无子进程)运行 IDLE 废弃(在 issue 18823 解决前不会移除)。
  • site 模块向 sys.path 添加 "site-python" 目录(若存在)的行为废弃(issue 19375)。

移除(Removed)

不再支持的操作系统

  • OS/2(issue 16135)
  • Windows 2000
  • COMSPEC 指向 command.com 的 Windows 系统(issue 14470)
  • VMS(issue 16136)

API 与特性移除

  • 移除无人维护的 Misc/TextMate 与 Misc/vim 目录。
  • 移除 SO makefile 宏(由 SHLIB_SUFFIX 与 EXT_SUFFIX 取代)(issue 16754)。
  • 移除 PyThreadState.tick_counter 字段——自 3.2 引入"新 GIL"后其值已无意义(issue 19199)。
  • 从 importlib 移除 PyLoader 与 PyPycLoader(issue 15641)。
  • 移除 HTTPConnection/HTTPSConnection 的 strict 参数,HTTP 0.9 风格 "Simple Responses" 不再支持。
  • 移除已废弃的 urllib.request.Request 的 getter/setter 方法(add_data、has_data、get_data、get_type、get_host、get_selector、set_proxy、get_origin_req_host、is_unverifiable),改用直接属性访问。
  • 从 marshal 移除对已废弃 TYPE_INT64 的加载支持(issue 15480)。
  • inspect.Signature 的位置-only 参数现在必须有合法名称。
  • object.__format__ 不再接受非空格式字符串,改抛 TypeError(自 3.2 起非空字符串即被废弃);因此对没有处理 's' 格式码的 __format__ 的对象使用 's' 格式码可能新抛 TypeError(issue 7994)。
  • 移除 difflib.SequenceMatcher.isbjunk/isbpopular(3.2 废弃),改用 x in sm.bjunk / x in sm.bpopular(issue 13248)。

代码清理

  • 从 pydoc 移除未使用、未文档化的内部 Scanner 类。
  • 移除私有且实际未用的 _gestalt 模块,以及私有 platform 函数 _mac_ver_lookup、_mac_ver_gstalt、_bcd2str(issue 18393)。
  • 移除 tarfile 模块命名空间中硬编码的部分 stat 常量副本。

移植到 Python 3.4

本节汇总升级时可能需要修改代码的变化。

python 命令行为变化

  • POSIX shell 中 PATH 设为空等价于未设置;此前 PYTHONPATH 设为空等价于 .(与 PATH 类比令人困惑),现改为遵循 POSIX 的 PATH 约定。
  • 调试(--with-pydebug)构建的 [X refs, Y blocks] 输出默认关闭,可用 -X showrefcount 重新启用(issue 17323)。
  • python 命令及多数标准库脚本(以及 argparse)把 --version 信息输出到 stdout 而非 stderr。

Python API 变化

  • importlib.abc 中定义的 ABC 现在抛相应异常或返回默认值,而非一律抛 NotImplementedError;需要兼容时同时捕获 NotImplementedError 或相应异常。
  • 模块类型默认把 __package__ 与 __loader__ 初始化为 None;向后兼容地判断是否设置可用 getattr(module, '__loader__', None) is not None(issue 17115)。
  • importlib.util.module_for_loader 现在无条件设置 __loader__ 与 __package__ 以正确支持重载;不需要时可手动设置这些属性,或用 importlib.util.module_to_load 管理模块。
  • 重载时导入系统无条件重置相关属性(__name__、__loader__、__package__、__file__、__cached__),恢复了 3.3 之前"重载时重新查找模块"的行为(issue 19413)。
  • frozen 包不再把 __path__ 设为包含包名的列表,而是设为空列表(此前行为可能在存在同名目录时使子模块导入出错);判断是否为包的正确方式是 hasattr(module, '__path__')(issue 18065)。
  • frozen 模块不再定义 __file__ 属性;确需判断可从 __spec__.location == 'frozen'、loader 是否为 FrozenImporter 子类、或(为兼容 Py2)imp.is_frozen 判断。
  • py_compile.compile 在目标路径为符号链接或非普通文件时抛 FileExistsError(提醒 import 会以普通文件覆盖之)(issue 19413 相关)。
  • importlib.abc.SourceLoader.get_source 不再在源码触发 SyntaxError/UnicodeDecodeError 时抛 ImportError(ImportError 应仅在源码找不到时抛);此前捕获 ImportError 以忽略语法/解码问题的代码需改捕三种异常。
  • functools.update_wrapper/functools.wraps 现在正确设置 __wrapped__ 为被包装函数(即使该函数自身也有 __wrapped__),__wrapped__ 链正确串联而非全部指向最内层函数;依赖旧行为的自省库可用 inspect.unwrap 访问链上第一个无 __wrapped__ 的函数。
  • inspect.getfullargspec 基于 inspect.signature 重写,支持远超以往的 callable 种类;假设其对非 Python callable 会失败的代码需调整。
  • importlib.machinery.PathFinder 对空字符串向 sys.path_hooks 对象传入当前工作目录,导致 sys.path_importer_cache 不再含 ''、按 sys.path 遍历缓存将缺键;当前工作目录导入的模块 __file__ 现为绝对路径(含 -m 场景,除直接用相对路径执行脚本的 __main__.__file__)(issue 18416)。
  • 移除 HTTPConnection/HTTPSConnection 的 strict 参数会改变按位置传参的语义,应改用关键字传递附加参数。
  • from __future__ import ... 语句之间的字符串现在总是抛 SyntaxError(此前无前导 docstring 时夹层字符串有时被忽略),CPython 由此符合语言规范(Jython、PyPy 早已如此)(issue 17434)。
  • SSLSocket.getpeercert/do_handshake 在未连接时抛 OSError(ENOTCONN)(此前为 AttributeError);未完成握手时 getpeercert 抛 ValueError。
  • base64.b32decode 输入含非 b32 字母字符时抛 binascii.Error(此前为 TypeError,3.3.3 已顺带应用)(issue 18011)。
  • cgi.FieldStorage.file 属性在实例被垃圾回收时自动关闭;若曾取出 file 对象而不保留 FieldStorage 实例,应保存整个实例或在回收前读取内容。
  • 对已关闭 SSL socket 调用 read/write 抛信息更明确的 ValueError(此前为晦涩的 AttributeError)(issue 9177)。
  • slice.indices 对超大值不再产生 OverflowError;负长度现在抛 ValueError(此前返回无意义值)(issue 14794)。
  • complex 构造器若对象的 __complex__ 返回 float 曾错误接受,现抛 TypeError(issue 16290)。
  • int 构造器 3.2/3.3 曾错误接受 base 参数为 float,现抛 TypeError(issue 16772)。
  • 关键字-only 参数的默认值现在在普通关键字参数默认值之后求值(此前顺序相反)(issue 16967)。
  • os.fork 后清除陈旧线程状态,可能释放此前被错误长期占用的系统资源(如线程局部存储中的数据库连接)(issue 17094)。
  • __annotations__ 字典中的参数名现在与 __kwdefaults__ 类似地正确做名称改写(issue 20625)。
  • hashlib.hash.name 现在总是返回小写标识符(issue 18532)。
  • 由于 TestSuite 运行后释放测试引用,复用同一 TestSuite 重跑测试的框架可能失败——不应以该方式复用(破坏隔离);若接受状态残留,可创建定义空 _removeTestAtIndex 的子类恢复旧行为(issue 11798)。
  • unittest 命令行改用 argparse,某些此前可用的非法命令形式不再允许。
  • re.split/re.findall/re.sub 及 match.group/match.groups 在输入为 bytes-like 对象时总是返回 bytes(此前返回类型与输入一致,依赖返回 bytearray 等类型的代码需修改)。
  • audioop 函数对字符串输入立即报错(此前随机失败)(issue 16685)。
  • HTMLParser 的 convert_charrefs 当前默认 False、未来将默认 True,建议显式传入。
  • hmac.new 未来 digestmod 无默认值,所有调用应显式指定。
  • sysconfig.get_config_var('SO') 或查询 get_config_vars 中的 SO 废弃,按上下文改用 EXT_SUFFIX 或 SHLIB_SUFFIX(issue 19555)。
  • 所有指定 U 模式的 open 调用应修改:Python 3 中 U 无效且最终会报错,旧行为视函数不同可用 newline 参数或包裹 io.TextIOWrapper 实现(issue 15204)。
  • 脚本中使用 pyvenv 且不希望安装 pip 时,必须加 --without-pip。
  • json.dump/json.dumps 指定 indent 时的默认行为变化:行尾逗号后不再产生尾随空格(仅影响对输出做空白敏感比较的测试)(issue 16333)。
  • doctest 现在查找扩展模块 __doc__ 字符串中的 doctest,若扩展模块中有类似 doctest 的内容,测试发现可能出现从未见过的失败(issue 3158)。
  • collections.abc 重构后,导入 collections 不再自动导入 collections.abc;依赖隐式导入的程序需显式 import collections.abc(issue 20784)。

C API 变化

  • PyEval_EvalFrameEx、PyObject_Repr、PyObject_Str 等 C API 新增调试断言,防止在可能静默丢弃当前活动异常的场景被使用;预期丢弃异常时(如已用 PyErr_Fetch 保存或有意替换),需要显式 PyErr_Clear 以避免在启用断言的构建中触发断言。
  • PyErr_SetImportError 在 msg 参数未设置时设置 TypeError(此前仅返回 NULL 且不设置异常)。
  • PyOS_ReadlineFunctionPointer 回调的返回字符串必须改由 PyMem_RawMalloc/PyMem_RawRealloc 分配(或错误时返回 NULL),不再使用 PyMem_Malloc/PyMem_Realloc(issue 16742)。
  • PyThread_set_key_value 现在总是设置值(3.3 中键已存在且当前值为非 NULL 指针时不动作)。
  • PyFrameObject 结构体的 f_tstate(线程状态)字段已移除(issue 14432)。

3.4.3 补充:PEP 476 默认启用证书校验

在 Python 3.4.3 中,http.client 及其使用者(如 urllib.request、xmlrpc.client)默认验证服务器出示的证书:必须由平台信任库中的 CA 签发且主机名与请求主机匹配,显著提升大量应用的安全性。需要旧行为的应用可传入替代 context:

import urllib.request
import ssl

# 关闭全部校验
context = ssl._create_unverified_context()

# 使用特定证书(无需在信任库中)
context = ssl.create_default_context(cafile="/path/to/file.crt")

urllib.request.urlopen("https://invalid-cert", context=context)

与 KBEngine 仓库的渊源:文档、源码与运行时

这份 whatsnew/3.4.rst 并非孤立文档,它与 KBEngine 仓库的 CPython 源码树互为表里:

  • 文档归属:它位于 kbe/src/lib/python/Doc/whatsnew/,与 3.5、3.6、3.7 等同期发布说明并列;仓库内嵌 CPython 的当前版本是 3.7(见 Include/patchlevel.h 中 PY_MAJOR_VERSION 3 / PY_MINOR_VERSION 7),因此本文所述 3.4 特性既是历史版本事实,也构成了理解仓库内嵌运行时当前能力的演进起点。
  • 实现延续:3.4 引入的 asyncio、enum、pathlib、selectors、statistics、tracemalloc、ensurepip 等模块在仓库 Lib/ 中全部存在并持续演进;ensurepip 捆绑的 pip 已由 3.4.0 的 1.5.4 升级到 19.0.3(见 Lib/ensurepip/init.py 的 _PIP_VERSION)。
  • 项目中的应用:KBEngine 作为 MMOG 服务器引擎,把这份 CPython 作为内嵌脚本运行时使用——pyscript/script.cpp 中 Script::install() 通过 Py_Initialize() 启动解释器、以 PyRun_SimpleString 执行初始化命令,卸载时 Py_Finalize() 收尾;服务器端实体与业务逻辑脚本(参见 python_assets 模板)都运行在这个 CPython 之上。因此,掌握 Python 3.4 之后引入的这些标准库能力(如 pathlib 路径操作、enum 常量、tracemalloc 内存追踪、ssl 校验机制),对编写与调试 KBEngine 的服务器脚本具有直接的现实价值。

总结而言,Python 3.4 是"基础设施之年":没有语法新花样,却系统性地强化了打包引导、导入机制、内存管理与安全性,同时为标准库注入了 asyncio 等影响深远的新模块。理解这份发布说明,既能指导存量代码向新版本迁移,也能帮助你在 KBEngine 这类内嵌 CPython 的项目中正确运用这些语言能力。

登录后查看全文
kbengine