深入解读 Python 3.4 新特性:基于 KBEngine 内嵌 CPython 源码树的完整指南
深入解读 Python 3.4 新特性:基于 KBEngine 内嵌 CPython 源码树的完整指南
本文以 KBEngine 仓库内嵌的 CPython 官方发布说明 whatsnew/3.4.rst 为骨架,系统梳理 Python 3.4 相对 3.3 的全部用户可见变化:新增的 7 个标准库模块(asyncio、enum、pathlib、selectors、statistics、tracemalloc、ensurepip)、核心语言与既有模块的改进、CPython 实现层面的内存分配器 / 哈希算法 / 对象终结机制变革,以及废弃、移除与移植注意事项。读完你将领略 Python 3.4 的完整特性清单与关键 API 用法,并能对照仓库内嵌源码理解这些特性如何落地与延续。
版本发布概述与核心亮点
Python 3.4 于 2014 年 3 月 16 日发布(详见 Doc/whatsnew 目录 中的其他版本说明,完整的逐条变更可查阅 Doc/whatsnew/changelog.rst)。与 3.3 相比,这一版本没有新增任何语法特性,核心工作集中在标准库扩充、CPython 实现质量与安全性提升上。发布亮点可归纳为:
- pip 随发行版内置(PEP 453):新增
ensurepip模块,标准安装即可引导出pip。 - 新创建的文件描述符默认可继承性关闭(PEP 446):显著减少子进程继承句柄引发的隐晦 bug 与安全风险。
- 解释器新增隔离模式:命令行选项
-I(issue 16499)。 - codecs 模块对非文本编码的处理大幅改进(多个 issue 合并)。
- 导入系统引入 ModuleSpec 类型(PEP 451),影响所有 importer 作者。
- marshal 格式更紧凑高效(issue 16475)。
新库模块层面,一次性新增了 asyncio(PEP 3156)、ensurepip(PEP 453)、enum(PEP 435)、pathlib(PEP 428)、selectors(PEP 3156 一部分)、statistics(PEP 450)、tracemalloc(PEP 454)七个模块;显著改进的库模块包括 functools 的单分派泛型函数(PEP 443)、新的 pickle 协议 4(PEP 3154)、multiprocessing 的 spawn/forkserver 启动方式、email 的 contentmanager 子模块与 EmailMessage 类等。
安全方面同样动作密集:安全的可互换哈希算法(PEP 456)、非继承文件描述符(PEP 446)、隔离模式、hashlib.pbkdf2_hmac 口令派生函数、ssl 模块的 TLSv1.1/TLSv1.2 支持、Windows 系统证书库读取、服务端 SNI、以及 SSLContext 的大量改进;此后又在 3.4.3 中以 PEP 476 实现了标准库 HTTP 客户端默认启用证书校验。
CPython 实现层面引入了安全对象终结(PEP 442)、可配置内存分配器(PEP 445)、Argument Clinic(PEP 436),并顺带修复了模块全局变量在解释器关闭时被置为 None 的长期问题。
核心新特性详解
PEP 453:在 Python 安装中显式引导 pip
ensurepip 模块提供了跨平台的 pip 引导机制。Python 3.4.0 内置的是 pip 1.5.4,此后各维护版本会把捆绑的 pip 升级到该版本发布候选时最新的 pip。默认情况下,所有平台都会安装 pipX 与 pipX.Y 命令(X.Y 为 Python 版本号);在 Windows 与所有平台的虚拟环境中,还会额外安装不带版本号的 pip 命令;其他平台上不带版本号的 pip 通常指向另行安装的 Python 2 版本。
pyvenv 命令行工具与 venv 模块都依赖 ensurepip 让虚拟环境开箱即用地拥有 pip:使用命令行工具时默认安装 pip,而使用 venv 模块 API 时必须显式请求。在 POSIX 上对 CPython 做源码编译时,make install 与 make altinstall 默认都会引导 pip,该行为可通过 configure 选项控制、也可用 Makefile 选项覆盖。Windows 与 Mac OS X 安装器默认随 CPython 安装 pip(用户可取消勾选);Windows 用户需要勾选自动修改 PATH 才能直接在命令行使用 pip,否则可通过 Python Launcher 用 py -m pip 访问。
注意:为避免 Python 2 / Python 3 并行安装冲突,直接调用 ensurepip 时默认只引导带版本号的 pip3 与 pip3.4,需要 --default-pip 选项才会额外请求不带版本号的 pip;多 Python 共存环境下始终可用 python -m pip 避免歧义。
作为配套,官方安装(Installing)与发行(Distributing)文档被重写为入门与 FAQ 短文,多数打包文档迁移到了 Python Packaging Authority 维护的 Python Packaging User Guide;由于迁移未完成,旧版文档仍以 install-index 与 distutils-index 形式保留。
仓库印证:KBEngine 内嵌的 CPython 源码树中,Lib/ensurepip/init.py 完整保留了该机制(含 bootstrap()、--upgrade 选项与 _bundled 目录),其捆绑版本已演进为 pip 19.0.3 / setuptools 40.8.0,可见"ensurepip 内置捆绑版 pip、可离线引导、可升级"的设计从 3.4 延续至今。
PEP 446:新创建的文件描述符不可继承
PEP 446 让新创建的文件描述符默认不可继承。一般而言这正是应用想要的行为:启动新进程时,若当前打开的文件也被子进程继承,会引发各种难以排查的 bug,甚至带来安全隐患。需要继承时可使用新提供的函数与方法:
os.get_inheritable()/os.set_inheritable()os.get_handle_inheritable()/os.set_handle_inheritable()(Windows 句柄)socket.socket.get_inheritable()/socket.socket.set_inheritable()
codecs 处理改进:非文本编码的可用性革命
codecs 模块自诞生起就定位为类型无关的动态编解码系统,但长期与 Python 文本模型(尤其是 str/bytes/bytearray 上的类型受限便捷方法)耦合,掩盖了这一事实。Python 3.4 做了三件事:
- 正式文档化
codecs.encode()与codecs.decode()。这两个函数自 Python 2.4 就存在并有回归测试覆盖,但此前只能靠运行时内省发现。与内建类型方法不同,它们支持任意 codec,不受 Unicode 文本编码限制。 - 解释器能识别标准库中的非文本编码,并在用户误用时给出指引性错误:
>>> b"abcdef".decode("hex")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
LookupError: 'hex' is not a text encoding; use codecs.decode() to handle arbitrary codecs
>>> "hello".encode("rot13")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
LookupError: 'rot13' is not a text encoding; use codecs.encode() to handle arbitrary codecs
>>> open("foo.txt", encoding="hex")
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
LookupError: 'hex' is not a text encoding; use codecs.open() to handle arbitrary codecs
- 编解码异常链:在不破坏向后兼容的前提下,编解码过程中产生的异常会被包装为同类型链式异常,并指名负责产生错误的 codec:
>>> import codecs
>>> codecs.decode(b"abcdefgh", "hex")
Traceback (most recent call last):
File "/usr/lib/python3.4/encodings/hex_codec.py", line 20, in hex_decode
return (binascii.a2b_hex(input), len(input))
binascii.Error: Non-hexadecimal digit found
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
binascii.Error: decoding with 'hex' codec failed (Error: Non-hexadecimal digit found)
>>> codecs.encode("hello", "bz2")
Traceback (most recent call last):
File "/usr/lib/python3.4/encodings/bz2_codec.py", line 17, in bz2_encode
return (bz2.compress(input), len(input))
File "/usr/lib/python3.4/bz2.py", line 498, in compress
return comp.compress(data) + comp.flush()
TypeError: 'str' does not support the buffer interface
The above exception was the direct cause of the following exception:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: encoding with 'bz2' codec failed (TypeError: 'str' does not support the buffer interface)
配合这些改进,3.2 版本恢复的非 Unicode codec 便捷别名得以发挥真正作用——二进制数据的十六进制互转现在可以这样写:
>>> from codecs import encode, decode
>>> encode(b"hello", "hex")
b'68656c6c6f'
>>> decode(b"68656c6c6f", "hex")
b'hello'
标准库提供的二进制与文本变换详见 codecs 文档中的 binary transforms / text transforms 两节。该系列改动由 Nick Coghlan 在 issue 7475、17827、17828、19619 中贡献。
PEP 451:为导入系统引入 ModuleSpec 类型
PEP 451 将导入机制加载模块所需的信息封装为"模块规格(module specification)",既简化了导入实现本身,也简化了若干导入相关 API,并为后续导入改进铺路。所有面向公众的变更完全向后兼容,对除 importer 作者以外的所有人透明:关键的 finder / loader 方法被废弃但仍可继续工作;新导入器应实现 PEP 中定义的新方法(如 find_spec / exec_module),旧导入器应迁移到新方法。需要替换的方法清单见本文"废弃"一节。
其他语言级变更
- Unicode 数据库升级到 UCD 6.3。
min/max新增关键字-only 参数default,用于在迭代器为空时返回指定值(issue 18111)。- 模块对象现在可被
weakref引用。 - 模块的
__file__属性默认总是绝对路径(唯一例外是直接用相对路径执行脚本时的__main__.__file__)(issue 18416)。 - 除 UTF-7 外的所有 UTF-* codec 在编码与解码时默认拒绝 surrogates,除非使用
surrogatepass错误处理器;UTF-16 解码器(接受合法代理对)与 UTF-16 编码器(编码非 BMP 字符时产生代理对)例外(issue 12892)。 - 新增德文 EBCDIC codec
cp273(issue 1097797)与乌克兰 codeccp1125(issue 19668)。 bytes.join()/bytearray.join()现在接受任意 buffer 对象作为参数(issue 15958)。int构造函数对base参数接受任何实现__index__方法的对象(issue 16772)。- 帧对象新增
frame.clear()方法,清除帧对局部变量的所有引用(issue 17934)。 memoryview现注册为collections.abc.Sequence,并支持内建reversed(issue 18690、19078)。- 得益于 Argument Clinic 与
inspect/pydoc的改动,help()展示的签名在多处得到修正与改进。 __length_hint__正式成为语言规范的一部分(PEP 424,issue 16148)。
新增模块
asyncio:异步 I/O 的标准事件循环框架
新模块 asyncio(PEP 3156)为 Python 提供了标准的可插拔事件循环模型:标准库获得坚实的异步 I/O 支持,同时让其他事件循环实现更容易与标准库及彼此互操作。在 Python 3.4 中该模块被定义为 provisional API(临时 API,接口可能在后续版本调整)。其实现由 Guido van Rossum 主导。
ensurepip:pip 安装器的引导器
ensurepip 是 PEP 453 实现的主要基础设施。常规情况下终端用户无需直接与之交互,但如果自动引导被拒绝,可以用它手动引导 pip。它包含一份随 CPython 版本捆绑的 pip 副本(更新至该 CPython 版本首个发布候选时的状态,维护版与特性版均如此),且不访问互联网;安装环境有网络时,引导出的捆绑 pip 可用于升级自身。注意:升级后的 pip 被视为独立安装的包,卸载 Python 时不会一并移除。
模块命名"ensure"pip 的由来是:若 pip 已安装则什么都不做;它还提供 --upgrade 选项,当已安装的 pip 旧于捆绑版时执行安装。
enum:标准枚举类型
新模块 enum(PEP 435)提供了枚举类型的标准实现,让其他模块(如 socket)能以此把不透明的整数常量替换为向后兼容的枚举值,从而提供更丰富的错误信息与更好的调试支持。
pathlib:面向对象的文件系统路径
新模块 pathlib(PEP 428)提供语义适配不同操作系统的文件系统路径类。路径类分为纯路径(pure paths)——仅提供纯计算操作、不涉及 I/O,与具体路径(concrete paths)——继承纯路径并额外提供 I/O 操作。Python 3.4 中为 provisional API。
selectors:高级高效的 I/O 多路复用
新模块 selectors 在实现 PEP 3156 时创建,建立在 select 模块原语之上,提供高级且高效的 I/O 多路复用抽象。
statistics:数值稳定的基础统计库
新模块 statistics(PEP 450)把核心统计功能直接带入标准库,支持对数据序列计算均值(mean)、中位数(median)、众数(mode)、方差(variance)与标准差(standard deviation),且实现注重数值稳定性。
tracemalloc:追踪 Python 内存分配
新模块 tracemalloc(PEP 454)是追踪 Python 分配内存块的调试工具,提供:
- 定位对象在何处被分配;
- 按文件名与行号统计分配的内存块:总大小、数量与平均大小;
- 计算两个快照之间的差异以检测内存泄漏。
仓库印证:上述七个模块全部存在于仓库内嵌 CPython 源码树中:Lib/asyncio、Lib/ensurepip、Lib/enum.py、Lib/pathlib.py、Lib/selectors.py、Lib/statistics.py、Lib/tracemalloc.py,验证了这些 3.4 新模块在后继版本中的持续演进。
改进的既有模块
抽象基类与类型系统
- abc:新增
abc.get_cache_token()判断何时应使受对象图变化影响的缓存失效(issue 16832);新增基类abc.ABC,其元类即ABCMeta,用ABC做基类与metaclass=abc.ABCMeta效果一致但更简洁易读(issue 16049)。 - types:新增
types.DynamicClassAttribute描述符——经实例查找时表现如常,经类查找时路由到类的__getattr__,从而允许类上有活动的 property 与同名虚拟属性并存(参见 Enum 的用法)(issue 19030)。 - inspect:提供基础命令行界面(
python -m inspect)快速展示模块、类与函数的源码等信息(issue 18626);新增inspect.unwrap()解开由functools.wraps等创建的包装函数链(issue 13266);对自定义__dir__与元类动态类属性的支持大幅增强(enum 实现的副产品,issue 18929、19030);getfullargspec/getargspec改为基于signatureAPI,支持__signature__属性、Argument Clinic 元数据、functools.partial对象等更广的 callable——注意它们仍忽略__wrapped__、且报告已绑定方法时保留已绑定的首参,需要这些能力请直接用inspect.signature(issue 17481);inspect.signature现在支持 CPython 函数的鸭子类型,包括 Cython 编译的函数(issue 17159)。 - ipaddress:3.3 中以 provisional API 加入,3.4 起移除该限定、成为受常规向后兼容约束的稳定 API;新增
IPv4Address.is_global属性判断地址是否全局可路由(issue 17400)。
数据结构、函数式与弱引用
- collections:
ChainMap.new_child()接受m参数指定加入链中的子映射,允许使用已有映射或自定义映射类型(issue 16613)。 - operator:新增
operator.length_hint(),提供__length_hint__特殊方法的规范实现(PEP 424,issue 16148);新增纯 Python 版operator模块供参考与替代实现使用(issue 16694)。 - weakref:新增
weakref.WeakMethod模拟对绑定方法的弱引用(issue 14631);新增weakref.finalize在对象被垃圾回收时调用回调,无需小心管理弱引用自身的生命周期(issue 15528);weakref.ref关联的回调现通过__callback__属性暴露(issue 17643)。 - functools:新增
functools.partialmethod描述符,把偏参数应用带到描述符层面,也让任意 callable(含partial实例)在类定义中表现得像普通实例方法(issue 4331);新增functools.singledispatch装饰器,为标准库带来单分派泛型函数支持——面向对象把对共同数据集的多种操作分组进类,泛型函数则把同一操作对不同类型数据的多种实现分组(PEP 443);functools.total_ordering现在支持底层比较函数返回NotImplemented(issue 10042);标准库新增纯 Python 版partial(CPython 中以 C 加速版覆盖,供其他实现使用)(issue 12428)。
I/O 与文件系统
- filecmp:新增
filecmp.clear_cache()清空比较缓存(缓存基于os.stat信息判断文件是否变化),可用于文件在文件系统修改时间分辨率内被修改并重检的场景(issue 18149);新增filecmp.DEFAULT_IGNORES属性提供dircmp的ignore参数默认目录列表(issue 15442)。 - mmap:mmap 对象现在可被
weakref(issue 4885)。 - os:新增
os.get_inheritable/os.set_inheritable(文件描述符)与os.get_handle_inheritable/os.set_handle_inheritable(Windows 句柄)读写继承标志;新增os.cpu_count()报告平台可用 CPU 数(无法确定时返回None),multiprocessing.cpu_count()改由其实现(issue 17914);os.path.samestat在 Windows 可用,os.path.samefile在 Unix 与 Windows 间共享实现(issue 11939);os.path.ismount现能识别 Windows 驱动根目录下挂载的卷(issue 9035);os.open在支持的平台上支持O_PATH(不打开的裸文件描述符)与O_TMPFILE(匿名临时文件,3.4.0 仅在 Linux 内核 3.11+ 且具备 uapi 头文件时可用)(issue 18673)。 - shutil:
shutil.copyfile在源与目标为同一文件时抛出具体异常子类shutil.SameFileError,便于应用针对处理(issue 1492704)。 - tarfile:支持以脚本方式(直接执行或
-m)简单创建与解包 tar 归档(issue 13477)。 - zipfile:
PyZipFile.writepy新增filterfunc选项控制加入归档的目录与文件(例如排除测试文件)(issue 19274);ZipFile/PyZipfile的allowZip64参数默认改为True(issue 17201)。 - textwrap:
TextWrapper新增max_lines(限制输出行数)与placeholder(截断后附加的占位串);新便捷函数textwrap.shorten把输入空白折叠为单空格并按width截断为单行、以占位符(默认[...])结尾(issue 18585、18725)。
正则与文本处理
- re:新增
re.fullmatch()函数与regex.fullmatch()方法,同时锚定字符串两端,显式表达"整个匹配"意图,规避$在改代码或增加备选项时丢失引发的细微 bug(issue 16203);正则对象与匹配对象的 repr 分别包含 pattern/flags 与 start/end/匹配部分(issue 13592、17087)。 - pprint:
PrettyPrinter与pformat/pprint新增compact选项——为True时序列在每行(缩进后)尽量排入width内元素(issue 19132);长字符串改用 Python 常规续行语法换行(issue 17150)。 - html:新增
html.unescape()把 HTML5 字符引用转换为对应 Unicode 字符(issue 2927);html.parser.HTMLParser接受新关键字参数convert_charrefs,为True时自动转换所有字符引用,默认False以保持兼容、但未来版本将改为True,建议显式设置并更新代码(issue 13633);HTMLParser的strict参数废弃(issue 15114)。
网络、HTTP 与序列化协议
- http:
http.server.BaseHTTPRequestHandler.send_error接受可选explain参数提供扩展错误描述,按error_message_format格式化并作为错误响应体(issue 12921);http.server命令行新增-b/--bind指定监听地址(issue 17764)。 - smtpd:
SMTPServer/SMTPChannel接受map关键字参数并透传给asynchat.async_chat,避免影响全局 socket 映射(issue 11959)。 - smtplib:
SMTPException改为OSError子类,让只关心"是否出错"的代码在单个 try/except 中同时捕获 socket 层与 SMTP 协议层错误(issue 2118)。 - socket:支持
CAN_BCM协议(issue 15359);新增get_inheritable/set_inheritable方法;AF_*/SOCK_*常量改为基于新enum模块的枚举值,调试时可打印有意义的名字而非整数"魔数";AF_LINK常量在 BSD 与 OSX 可用;inet_pton/inet_ntop在 Windows 上受支持(issue 7171)。 - urllib:
urllib.request通过DataHandler支持data:URL(issue 16423);Request的 HTTP 方法可通过子类Request.method类属性指定(issue 18978);Request对象现在可复用——修改full_url或data后所有相关内部属性自动更新,可对同一Request以不同data多次调用OpenerDirector.open,并新增remove_header()方法(issue 16464、17485、17272);urllib.error.HTTPError新增headers属性访问错误相关的 HTTP 响应头(issue 15701)。 - sqlite3:
sqlite3.connect新增布尔参数uri,指示database参数为 URI(issue 13773)。 - plistlib:采用标准序列化协议模式,新增
load/dump/loads/dumps(旧 API 废弃);除 XML plist(FMT_XML)外新增二进制 plist(FMT_BINARY)支持(issue 14455)。 - struct:新增
struct.iter_unpack()函数与Struct.iter_unpack()方法,对流式缓冲中重复出现的同格式数据进行流式解包(issue 17804)。 - marshal:默认 marshal 版本提升到 3,新版本恢复 Python 2 中"仅记录一份 interned 字符串并在反序列化时保持 intern"的行为,并把"单份拷贝"能力扩展到任意对象类型(含递归引用处理),从而减小
.pyc文件体积与模块从.pyc/.pyo加载时占用的内存(issue 16475、19219)。 - pickle:支持(但默认不启用)新的协议 4(PEP 3154),解决嵌套类、超大字符串与容器、
__new__只接受关键字参数的类等旧协议存在的问题,并带来效率提升。 - dbm:
dbm.open对象支持上下文管理协议,with块结束自动close(issue 19282)。 - shelve:
Shelf实例可用于with语句并在块结束自动关闭(issue 13896)。 - base64:编解码函数在原本要求
bytes/bytearray的位置改接受任意 bytes-like 对象(issue 17839);新增a85encode/a85decode(Ascii85 及其 Adobe 变体)与b85encode/b85decode(git/mercurial Base85)函数(issue 17618)。
安全与加密
- hashlib:新增
hashlib.pbkdf2_hmac()实现 PKCS#5 口令派生函数 2(PBKDF2)(issue 18582);哈希对象的hash.name属性成为正式受支持接口(issue 18532)。 - hmac:
hmac.new的key参数接受bytearray与bytes,msg参数(new与HMAC.update)接受hashlib支持的任何类型(issue 18240);digestmod可以是hashlib识别的任意摘要名,且"默认 MD5"的行为被废弃、未来版本将不再有默认值(issue 17276);新增HMAC.block_size与HMAC.name属性(并正式文档化digest_size),使hmac完全符合 PEP 247 API(issue 18775)。 - ssl(改动密集,详见下文小节):TLSv1.1/TLSv1.2 支持、
create_default_context、证书与 CRL 操作、SNI 等。 - base64 相关安全编解码见上文。
ssl 模块专项
- 新增
PROTOCOL_TLSv1_1与PROTOCOL_TLSv1_2,前提是 Python 链接 OpenSSL 1.0.1 或更高(issue 16692)。 - 新增
ssl.create_default_context()提供"兼容性与安全性合理平衡"的标准SSLContext,其设置比SSLContext构造器默认值更严格,且未来可能随最佳实践变化而调整;推荐做法是用它获取SSLContext、按需修改、再作为context参数传入相应 stdlib API(issue 19689)。 SSLContext.load_verify_locations()接受新可选参数cadata,以字符串/字节直接提供 PEM/DER 编码证书(issue 18138)。- 新增
ssl.get_default_verify_paths()返回命名元组,描述set_default_verify_paths()设置 OpenSSL 默认cafile/capath时所用的路径与环境变量,有助于调试默认校验问题(issue 18143)。 SSLContext新增cert_store_stats()(报告已加载的 X.509 证书、X.509 CA 证书与 CRL 数量)与get_ca_certs()(返回已加载 CA 证书列表)(issue 18147)。- OpenSSL 0.9.8+ 时
SSLContext新增verify_flags属性,可组合VERIFY_DEFAULT、VERIFY_CRL_CHECK_LEAF、VERIFY_CRL_CHECK_CHAIN、VERIFY_X509_STRICT控制证书校验过程——注意 OpenSSL 默认不做任何 CRL 校验(issue 8813)。 - 新增
SSLContext.load_default_certs()从随平台变化的默认位置加载默认 CA 证书,既可为客户端加载服务端认证证书(purpose=SERVER_AUTH),也可为服务端校验客户端证书加载证书(purpose=CLIENT_AUTH)(issue 19292)。 - 新增两个仅 Windows 的函数
ssl.enum_certificates()与ssl.enum_crls(),从 Windows 证书库读取证书与 CRL(issue 17134)。 - 通过新的
SSLContext.set_servername_callback()支持服务端 SNI(issue 8109)。 SSLSocket.getpeercert()返回的字典新增crlDistributionPoints、calIssuers、OCSPURI 等 X509v3 扩展项(issue 18379)。- 所有支持 SSL 的标准库模块均支持服务器证书校验,含主机名匹配(
ssl.match_hostname)与 CRL(SSLContext.load_verify_locations)。
日志、调试与运行环境
- logging:
TimedRotatingFileHandler新增atTime参数指定每日轮换的时刻(issue 9556);SocketHandler/DatagramHandler支持 Unix 域套接字(port=None);fileConfig的fname接受RawConfigParser子类实例(issue 16110);logging.config.listen新增verify关键字参数在应用前校验收到的配置(issue 15452)。 - pdb:增强对生成器、
yield、yield from的处理,尤其利于调试 asyncio 程序(issue 16596);移除了print命令——此前 Python 3 的 pdbprint是p命令的别名(打印 repr 而非 str)且遮蔽了print函数,移除后恢复了 pdb 提示符下对print函数的访问(issue 18764)。 - traceback:新增
traceback.clear_frames()清除 traceback 所有帧的局部变量,降低内存占用(issue 1565525)。 - sys:新增
sys.getallocatedblocks()返回解释器当前分配的内存块数(默认--with-pymalloc下即PyObject_Malloc分配的块数),可用于追踪内存泄漏、尤其适合接入测试套件自动化(issue 13390);解释器进入交互模式前检查sys.__interactivehook__属性,存在则以无参方式调用(在PYTHONSTARTUP之后检查,site模块会设置一个在支持 readline 的平台启用 tab 补全与历史保存到~/.python-history的函数;不想要此行为可在PYTHONSTARTUP、sitecustomize或usercustomize中删除该属性或替换为其他 callable)(issue 5845)。 - gc:新增
gc.get_stats()返回自解释器启动以来的三个分代收集统计字典列表(issue 16351)。 - glob:新增
glob.escape()转义文件名中的特殊字符,使其不被当作通配扩展而按字面匹配(issue 8402)。
多进程与线程
- multiprocessing:Unix 上新增
spawn与forkserver两种进程启动方式(start methods),使进程与线程混用更健壮,spawn语义与 Windows 上一直以来的行为一致;新增get_all_start_methods()(列出平台可用方式)、get_start_method()(当前方式)、set_start_method()(设置方式)(issue 8713);新增"上下文(context)"概念,get_context()返回使用指定 start method 的上下文,其 API 与multiprocessing模块本身相同,可用于创建该上下文内的Pool等对象,使框架与应用(或应用内不同部分)互不干扰地使用 multiprocessing(issue 18999);除旧的fork方式外,子进程不再继承父进程多余的句柄/文件描述符(issue 8713 一部分);spawn/forkserver方式下依赖runpy(即-m开关的实现)在子进程中正确初始化__main__,解决 multiprocessing 与-m、显式相对导入组合时子进程失败的边角问题(issue 19946)。 - threading:新增
threading.main_thread()获取主线程对象(issue 18882)。
测试框架
- doctest:新增选项标志
FAIL_FAST在首个失败出现时立即终止(issue 16522);命令行改用argparse,新增-o(在命令行指定 doctest 选项)与-f(即-o FAIL_FAST的简写)(issue 11390);现在会查找扩展模块__doc__字符串中的 doctest(issue 3158)。 - unittest:新增
TestCase.subTest()上下文管理器,可在循环中动态生成子测试——单个测试方法可产出无限个分别标识、分别计数、且即使部分失败也全部运行的测试:
class NumbersTest(unittest.TestCase):
def test_even(self):
for i in range(6):
with self.subTest(i=i):
self.assertEqual(i % 2, 0)
该例产生六个子测试,verbose 输出中每个以变量名与值(i=0、i=1…)标识(issue 16997)。此外:unittest.main 的 defaultTest 接受测试名可迭代对象(此前仅接受单个字符串)(issue 15132);测试发现阶段(模块级)抛出 SkipTest 现报告为跳过而非错误(issue 16935);TestLoader.discover 对发现文件排序以获得一致测试顺序(issue 16709);TestSuite 在测试成功运行后即释放对测试的引用(可重写 _removeTestAtIndex 恢复旧行为)(issue 11798);新增断言上下文管理器 assertLogs 验证代码块用 logging 记录了日志,默认任意 logger、INFO 及以上级别,可指定 logger 名与最低级别,返回对象可查询 LogRecord 与格式化消息(issue 18937);测试发现支持 namespace packages(issue 17457);unittest.mock 对象按规范签名匹配调用,参数可按位置或名称匹配(issue 17015);mock_open 对象新增 readline 与 readlines 方法(issue 17467)。
音频与媒体
- aifc:
getparams()返回 namedtuple(issue 17818);aifc.open支持上下文管理协议(issue 16486);writeframesraw/writeframes接受任意 bytes-like 对象(issue 8311)。 - audioop:支持 24 位采样(issue 12866);新增
byteswap()在大端/小端采样间转换(issue 19641);所有函数接受任意 bytes-like 对象,字符串不再接受——以前不工作,现在立即报错(issue 16685)。 - sunau:
getparams()返回 namedtuple(issue 18901);sunau.open支持上下文管理协议(issue 18878);AU_write.setsampwidth支持 24 位采样(issue 19261);writeframesraw/writeframes接受 bytes-like 对象(issue 8311)。 - wave:
getparams()返回 namedtuple(issue 17487);wave.open支持上下文管理协议(issue 17616);支持向不可 seek 的文件写输出(issue 5202);Wave_write.writeframesraw/writeframes接受 bytes-like 对象(issue 8311)。
其他模块
- argparse:
FileType接受encoding与errors参数并透传给open(issue 11175)。 - colorsys:RGB-YIQ 转换系数位数扩充以匹配 FCC NTSC 版本,结果变化小于 1%(issue 14323)。
- contextlib:新增
contextlib.suppress上下文管理器,让"故意抑制单条语句异常"的意图更清晰(issue 15806、19266);新增contextlib.redirect_stdout上下文管理器,把写入sys.stdout的输出重定向到任意流,或与io.StringIO结合重定向到字符串(例如捕获实现命令行界面的函数输出),仅建议用于工具脚本因为它影响全局sys.stdout(issue 15805);文档新增单次使用/可复用/可重入上下文管理器的讨论。 - dis:
show_code/dis/distb/disassemble接受关键字-onlyfile参数控制输出位置;模块围绕新的dis.Instruction类重构;新增dis.get_instructions()迭代器逐条产出指令流;新增dis.Bytecode类提供面向对象的字节码检查 API(含dis()方法与from_traceback()类方法);新增dis.stack_effect()计算给定操作码与参数对栈的影响(issue 11816、17916、19722)。示例:
>>> import dis
>>> for instr in dis.get_instructions(lambda x: x + 1):
... print(instr.opname)
LOAD_FAST
LOAD_CONST
BINARY_ADD
RETURN_VALUE
- email:
Message.as_string()接受policy参数覆盖默认策略(issue 18600);新增Message.as_bytes()生成消息的 bytes 表示,Message.__bytes__调用它,bytes(mymsg)因此返回完整格式化消息的 bytes(issue 18600);Message.set_param()接受replace关键字参数——指定时更新对应头且不改变其位置,默认False保持兼容(issue 18891);新增Message子类EmailMessage与MIMEPart、新子模块email.contentmanager与email.policy.EmailPolicy.content_manager属性,让从邮件提取/插入内容大幅简化(作为 provisional API 加入,计划 3.5 转正),这些 API 完成了 email6 项目的主体工作(issue 18891)。 - importlib:
InspectLoader新增source_to_code()方法(默认等价compile(data, path, 'exec', dont_inherit=True))(issue 15627)与get_code()默认实现(性能敏感场景建议覆盖)(issue 18072);importlib.reload从imp迁来(issue 18193);importlib.util.MAGIC_NUMBER提供字节码版本号(issue 18192);importlib.util.cache_from_source/source_from_cache替代imp同名函数(issue 18194);引导用NamespaceLoader符合InspectLoaderABC,runpy与python -m可用于 namespace 包(issue 18058);importlib.util.decode_source以通用换行处理从字节解码源码(用于实现get_source);ExtensionFileLoader.get_filename()补上遗漏的方法(issue 19152)。 - idlelib / IDLE:随版本持续改进,累积变更见
Lib/idlelib/NEWS.txt(也可从 IDLE 的 Help → About IDLE 对话框查看)。 - poplib:新增
POP3.capa()(返回 POP 服务器通告的能力列表)与POP3.stls()(若服务器支持则把明文 POP3 会话切换到加密会话)(issue 4473)。 - pty:
pty.spawn返回子进程的os.waitpid状态值而非None。 - resource:新增
resource.prlimit()查询/设置其他进程的资源限制(Linux 内核 2.6.36+、glibc 2.13+)(issue 16595);Linux 新增RLIMIT_MSGQUEUE、RLIMIT_NICE、RLIMIT_RTPRIO、RLIMIT_RTTIME、RLIMIT_SIGPENDING常量(issue 19324);FreeBSD 9+ 新增RLIMIT_SBSIZE、RLIMIT_SWAP、RLIMIT_NPTS(issue 19343)。 - select:
epoll对象支持上下文管理协议(issue 16488);devpoll对象新增fileno()/close()方法与closed属性(issue 18794)。 - stat:改由 C 实现(
_stat)支撑——多数值未标准化且依赖平台;新增S_IFDOOR、S_IFPORT、S_IFWHT标志(issue 11016)。 - subprocess:
check_output接受input参数提供命令的 stdin 内容(issue 16624);getstatus/getstatusoutput在 Windows 上工作(实际 3.3.4 已顺带引入)(issue 10197)。 - venv:新增
csh与fishshell 的激活脚本(issue 15417);EnvBuilder与venv.create新增关键字参数with_pip(默认False)控制是否在虚拟环境安装 pip(issue 19552,PEP 453 实现的一部分)。 - xml.etree:新增
XMLPullParser供非阻塞应用解析 XML(issue 17741);tostring/tostringlist/ElementTree.write新增关键字-only 参数short_empty_elements控制无内容元素写成<tag />还是<tag></tag>(issue 14377)。
CPython 实现变更
PEP 445:定制 CPython 内存分配器
PEP 445 在 C 层面新增接口,允许定制 CPython 解释器内的内存分配策略,由 Victor Stinner 编写并实现。
PEP 442:安全对象终结
PEP 442 消除了 CPython 对象终结的既有限制与怪癖:带 __del__ 方法的对象、以及带 finally 子句的生成器,现在可以安全地在引用环中被终结。同时,解释器关闭时不再在多数情况下强制把模块全局变量置为 None,改由循环垃圾收集器正常运行处理——这消除了自循环 GC 引入以来困扰 Python 的一整类解释器关闭时错误(通常涉及 __del__)。
PEP 456:安全且可互换的哈希算法
PEP 456 是对此前哈希算法安全修复工作的延续,应对公开 API 基于字典查找可能遭受的 DoS 攻击。它统一了 CPython 的哈希代码,使打包商更容易替换为不同哈希算法,并在具备 64 位数据类型的平台上把默认实现切换为 SipHash,与旧 FNV 算法相比性能差异可忽略。PEP 还向 sys.hash_info 结构序列新增字段描述当前二进制使用的哈希算法,除此之外不改动任何既有 CPython API。
PEP 436:Argument Clinic
Argument Clinic 现已是 CPython 构建流程的一部分,用于简化 C 实现的 builtin 与标准库扩展模块签名的定义与维护。3.4 中若干标准库扩展模块已改用 Argument Clinic,pydoc/inspect 相应更新;预计 3.4 维护版会为更多 C 实现的 callable 增加签名元数据。注意:Argument Clinic 在 3.4 中不作为面向第三方公开 API 提供。
其他构建与 C API 变更
- 新增
PyType_GetSlot()进入稳定 ABI,可在使用 limited API 时从命名类型槽获取函数指针(issue 17162)。 - 新增预初始化 API
Py_SetStandardStreamEncoding(),让嵌入 CPython 解释器的应用可靠地为标准流指定编码与错误处理器(issue 16129)。 - 多数不改写字符串参数的 Python C API 现正确标记为接受
const char *而非char *(issue 1772673)。 - 新增 shell 版
python-config,即使没有可用解释器(如交叉编译场景)也能使用。 PyUnicode_FromFormat支持%s、%A、%U、%V、%S、%R的宽度与精度说明(issue 7330)。- 新增
PyStructSequence_InitType2()补充既有PyStructSequence_InitType,区别在于成功返回0、失败返回-1。 - CPython 源码可用 GCC/clang 的地址健全性检查(ASAN)特性编译:小对象分配器的误报已消除(issue 18596)。
- Windows 构建启用地址空间布局随机化(ASLR)与数据执行保护(DEP)(issue 16632)。
- 新增
PyObject_LengthHint(),是operator.length_hint的 C API 对应物(issue 16148)。
其他实现改进
- 隔离模式
-I:python命令新增选项-I进入"隔离模式"——sys.path既不包含脚本目录也不包含用户site-packages,所有PYTHON*环境变量被忽略(隐含-s与-E),未来可能施加更多限制,目标是让脚本执行与用户环境隔离,适合运行系统脚本,多数 POSIX 系统上建议在系统脚本#!行使用(issue 16499)。 - 交互式解释器在支持
readline的系统上默认启用 tab 补全,历史默认启用并写入/读取~/.python-history(issue 5845)。 --version输出改到标准输出而非标准错误(issue 18338),argparse与其余可脚本调用模块同理(issue 18920、18922)。- Windows 安装器注册扩展名时把
.py加入PATHEXT,用户可在命令提示符直接输入脚本名(不带.py后缀)运行(issue 18569)。 - 新增
make coverage-report目标:构建 python、运行测试套件并用 gcov/lcov 生成 C 代码库的 HTML 覆盖率报告。 - 回归测试套件的
-R选项新增用sys.getallocatedblocks()检查内存分配泄漏(issue 13390)。 python -m现在支持 namespace 包。stat模块改由 C 实现,常量值来自 C 头文件而非硬编码(见上文)。- 从单个 OS 模块(
.so/.dll)加载多个 Python 模块现能正确工作(此前静默返回文件中第一个 Python 模块)(issue 16421)。 - 新增操作码
LOAD_CLASSDEREF,修复类体中自由变量加载的 bug(与某些__prepare__用法相关)(issue 17853)。 - Victor Stinner 用基于 PEP 445 的
pyfailmalloc工具定位并修复了一批 MemoryError 相关崩溃(issue 18408、18520)。 pyvenv新增--copies(即使系统默认符号链接也改用拷贝)与--without-pip(抑制自动引导 pip)选项(issue 18807、19552)。PYTHONIOENCODING环境变量的取值中编码名变为可选,可只设置错误处理器而不改默认编码(issue 18818)。bz2、lzma、gzip的open函数支持x(排他创建)模式(issue 19201、19222、19223)。
显著性能优化
- UTF-32 解码器提速 3~4 倍(issue 14625)。
- 集合哈希碰撞成本降低:哈希表每次探测先在相邻的键/哈希对序列上检查(默认额外线性探测 9 次,可在编译期以
LINEAR_PROBES调整,设为 0 完全关闭),利用缓存局部性降低碰撞解析开销,方案是线性探测与开放寻址的混合(issue 18771)。 - 解释器启动提速约 30%:启动时加载更少模块(
re、collections、locale等不再默认导入),marshal 模块加载编译后 Python 代码更快(issue 19219、19218、19209、19205、9548)。 bz2.BZ2File在多数场景与 Python 2 版本相当或更快,lzma.LZMAFile也经优化(issue 16034)。random.getrandbits对小整数(最常见场景)提速 20%~40%(issue 16674)。- 利用新的字符串存储格式,字符串的 pickle 显著加快(issue 15596)。
- 修复
io.FileIO.readall的性能问题,尤其影响 Windows,显著加速通过subprocess管道传输大量数据(issue 15758)。 html.escape提速 10 倍(issue 18020)。- Windows 上
obmalloc改用原生VirtualAlloc替代 CRTmalloc,人工基准显示约 3% 内存节省。 os.urandom使用惰性打开的持久文件描述符,避免多线程并行时占用大量文件描述符(issue 18756)。
废弃(Deprecated)
启用弃用告警(如 -Wd)时,多数已废弃 API 会发出 DeprecationWarning,计划在 Python 3.5 或更晚移除。
Python API 层面的废弃
- importlib(PEP 451 相关):
importlib.find_loader由importlib.util.find_spec取代;PathFinder.find_module由PathFinder.find_spec取代;MetaPathFinder.find_module由MetaPathFinder.find_spec取代;PathEntryFinder.find_loader/find_module由PathEntryFinder.find_spec取代;各xxxLoaderABC 的load_module方法(Loader/InspectLoader/FileLoader/SourceLoader)不再需要实现,改为实现exec_module;Loader.module_repr、importlib.util.module_for_loader、set_loader、set_package不再需要(导入系统自动处理其职能)。 imp模块进入待废弃状态(为兼容 Py2/3 代码库暂不安排移除)。formatter模块待废弃,计划 Python 3.6 移除。hmac.new的默认digestmod为 MD5 的行为废弃,Python 3.6 将要求显式指定。ftplib内部Netrc类发出DeprecationWarning,3.5 完全移除。subprocess.Popen.wait未文档化的endtime参数废弃,预计 3.5 移除。HTMLParser的strict参数废弃。plistlib的readPlist/writePlist/readPlistFromBytes/writePlistToBytes废弃,改用load/dump/loads/dumps;plistlib.Data废弃,直接用bytes构造器。sysconfig键SO废弃,由EXT_SUFFIX取代。- 各种
open函数接受的U模式废弃(Python 3 中无实际作用,应以io.TextIOWrapper的newline参数替代)。 xml.etree.ElementTree.iterparse的parser参数与XMLParser的html参数废弃;为移除后者做准备,XMLParser的所有参数应改用关键字传递。
特性层面的废弃
- 以
-n(无子进程)运行 IDLE 废弃(在 issue 18823 解决前不会移除)。 site模块向sys.path添加 "site-python" 目录(若存在)的行为废弃(issue 19375)。
移除(Removed)
不再支持的操作系统
- OS/2(issue 16135)
- Windows 2000
COMSPEC指向command.com的 Windows 系统(issue 14470)- VMS(issue 16136)
API 与特性移除
- 移除无人维护的
Misc/TextMate与Misc/vim目录。 - 移除
SOmakefile 宏(由SHLIB_SUFFIX与EXT_SUFFIX取代)(issue 16754)。 - 移除
PyThreadState.tick_counter字段——自 3.2 引入"新 GIL"后其值已无意义(issue 19199)。 - 从
importlib移除PyLoader与PyPycLoader(issue 15641)。 - 移除
HTTPConnection/HTTPSConnection的strict参数,HTTP 0.9 风格 "Simple Responses" 不再支持。 - 移除已废弃的
urllib.request.Request的 getter/setter 方法(add_data、has_data、get_data、get_type、get_host、get_selector、set_proxy、get_origin_req_host、is_unverifiable),改用直接属性访问。 - 从
marshal移除对已废弃TYPE_INT64的加载支持(issue 15480)。 inspect.Signature的位置-only 参数现在必须有合法名称。object.__format__不再接受非空格式字符串,改抛TypeError(自 3.2 起非空字符串即被废弃);因此对没有处理's'格式码的__format__的对象使用's'格式码可能新抛TypeError(issue 7994)。- 移除
difflib.SequenceMatcher.isbjunk/isbpopular(3.2 废弃),改用x in sm.bjunk/x in sm.bpopular(issue 13248)。
代码清理
- 从
pydoc移除未使用、未文档化的内部Scanner类。 - 移除私有且实际未用的
_gestalt模块,以及私有platform函数_mac_ver_lookup、_mac_ver_gstalt、_bcd2str(issue 18393)。 - 移除
tarfile模块命名空间中硬编码的部分stat常量副本。
移植到 Python 3.4
本节汇总升级时可能需要修改代码的变化。
python 命令行为变化
- POSIX shell 中
PATH设为空等价于未设置;此前PYTHONPATH设为空等价于.(与PATH类比令人困惑),现改为遵循 POSIX 的PATH约定。 - 调试(
--with-pydebug)构建的[X refs, Y blocks]输出默认关闭,可用-X showrefcount重新启用(issue 17323)。 python命令及多数标准库脚本(以及argparse)把--version信息输出到stdout而非stderr。
Python API 变化
importlib.abc中定义的 ABC 现在抛相应异常或返回默认值,而非一律抛NotImplementedError;需要兼容时同时捕获NotImplementedError或相应异常。- 模块类型默认把
__package__与__loader__初始化为None;向后兼容地判断是否设置可用getattr(module, '__loader__', None) is not None(issue 17115)。 importlib.util.module_for_loader现在无条件设置__loader__与__package__以正确支持重载;不需要时可手动设置这些属性,或用importlib.util.module_to_load管理模块。- 重载时导入系统无条件重置相关属性(
__name__、__loader__、__package__、__file__、__cached__),恢复了 3.3 之前"重载时重新查找模块"的行为(issue 19413)。 - frozen 包不再把
__path__设为包含包名的列表,而是设为空列表(此前行为可能在存在同名目录时使子模块导入出错);判断是否为包的正确方式是hasattr(module, '__path__')(issue 18065)。 - frozen 模块不再定义
__file__属性;确需判断可从__spec__.location == 'frozen'、loader 是否为FrozenImporter子类、或(为兼容 Py2)imp.is_frozen判断。 py_compile.compile在目标路径为符号链接或非普通文件时抛FileExistsError(提醒 import 会以普通文件覆盖之)(issue 19413 相关)。importlib.abc.SourceLoader.get_source不再在源码触发SyntaxError/UnicodeDecodeError时抛ImportError(ImportError应仅在源码找不到时抛);此前捕获ImportError以忽略语法/解码问题的代码需改捕三种异常。functools.update_wrapper/functools.wraps现在正确设置__wrapped__为被包装函数(即使该函数自身也有__wrapped__),__wrapped__链正确串联而非全部指向最内层函数;依赖旧行为的自省库可用inspect.unwrap访问链上第一个无__wrapped__的函数。inspect.getfullargspec基于inspect.signature重写,支持远超以往的 callable 种类;假设其对非 Python callable 会失败的代码需调整。importlib.machinery.PathFinder对空字符串向sys.path_hooks对象传入当前工作目录,导致sys.path_importer_cache不再含''、按sys.path遍历缓存将缺键;当前工作目录导入的模块__file__现为绝对路径(含-m场景,除直接用相对路径执行脚本的__main__.__file__)(issue 18416)。- 移除
HTTPConnection/HTTPSConnection的strict参数会改变按位置传参的语义,应改用关键字传递附加参数。 from __future__ import ...语句之间的字符串现在总是抛SyntaxError(此前无前导 docstring 时夹层字符串有时被忽略),CPython 由此符合语言规范(Jython、PyPy 早已如此)(issue 17434)。SSLSocket.getpeercert/do_handshake在未连接时抛OSError(ENOTCONN)(此前为AttributeError);未完成握手时getpeercert抛ValueError。base64.b32decode输入含非 b32 字母字符时抛binascii.Error(此前为TypeError,3.3.3 已顺带应用)(issue 18011)。cgi.FieldStorage.file属性在实例被垃圾回收时自动关闭;若曾取出 file 对象而不保留FieldStorage实例,应保存整个实例或在回收前读取内容。- 对已关闭 SSL socket 调用
read/write抛信息更明确的ValueError(此前为晦涩的AttributeError)(issue 9177)。 slice.indices对超大值不再产生OverflowError;负长度现在抛ValueError(此前返回无意义值)(issue 14794)。complex构造器若对象的__complex__返回float曾错误接受,现抛TypeError(issue 16290)。int构造器 3.2/3.3 曾错误接受base参数为float,现抛TypeError(issue 16772)。- 关键字-only 参数的默认值现在在普通关键字参数默认值之后求值(此前顺序相反)(issue 16967)。
os.fork后清除陈旧线程状态,可能释放此前被错误长期占用的系统资源(如线程局部存储中的数据库连接)(issue 17094)。__annotations__字典中的参数名现在与__kwdefaults__类似地正确做名称改写(issue 20625)。hashlib.hash.name现在总是返回小写标识符(issue 18532)。- 由于
TestSuite运行后释放测试引用,复用同一TestSuite重跑测试的框架可能失败——不应以该方式复用(破坏隔离);若接受状态残留,可创建定义空_removeTestAtIndex的子类恢复旧行为(issue 11798)。 unittest命令行改用argparse,某些此前可用的非法命令形式不再允许。re.split/re.findall/re.sub及match.group/match.groups在输入为 bytes-like 对象时总是返回bytes(此前返回类型与输入一致,依赖返回bytearray等类型的代码需修改)。audioop函数对字符串输入立即报错(此前随机失败)(issue 16685)。HTMLParser的convert_charrefs当前默认False、未来将默认True,建议显式传入。hmac.new未来digestmod无默认值,所有调用应显式指定。sysconfig.get_config_var('SO')或查询get_config_vars中的SO废弃,按上下文改用EXT_SUFFIX或SHLIB_SUFFIX(issue 19555)。- 所有指定
U模式的open调用应修改:Python 3 中U无效且最终会报错,旧行为视函数不同可用newline参数或包裹io.TextIOWrapper实现(issue 15204)。 - 脚本中使用
pyvenv且不希望安装 pip 时,必须加--without-pip。 json.dump/json.dumps指定indent时的默认行为变化:行尾逗号后不再产生尾随空格(仅影响对输出做空白敏感比较的测试)(issue 16333)。doctest现在查找扩展模块__doc__字符串中的 doctest,若扩展模块中有类似 doctest 的内容,测试发现可能出现从未见过的失败(issue 3158)。collections.abc重构后,导入collections不再自动导入collections.abc;依赖隐式导入的程序需显式import collections.abc(issue 20784)。
C API 变化
PyEval_EvalFrameEx、PyObject_Repr、PyObject_Str等 C API 新增调试断言,防止在可能静默丢弃当前活动异常的场景被使用;预期丢弃异常时(如已用PyErr_Fetch保存或有意替换),需要显式PyErr_Clear以避免在启用断言的构建中触发断言。PyErr_SetImportError在msg参数未设置时设置TypeError(此前仅返回NULL且不设置异常)。PyOS_ReadlineFunctionPointer回调的返回字符串必须改由PyMem_RawMalloc/PyMem_RawRealloc分配(或错误时返回NULL),不再使用PyMem_Malloc/PyMem_Realloc(issue 16742)。PyThread_set_key_value现在总是设置值(3.3 中键已存在且当前值为非 NULL 指针时不动作)。PyFrameObject结构体的f_tstate(线程状态)字段已移除(issue 14432)。
3.4.3 补充:PEP 476 默认启用证书校验
在 Python 3.4.3 中,http.client 及其使用者(如 urllib.request、xmlrpc.client)默认验证服务器出示的证书:必须由平台信任库中的 CA 签发且主机名与请求主机匹配,显著提升大量应用的安全性。需要旧行为的应用可传入替代 context:
import urllib.request
import ssl
# 关闭全部校验
context = ssl._create_unverified_context()
# 使用特定证书(无需在信任库中)
context = ssl.create_default_context(cafile="/path/to/file.crt")
urllib.request.urlopen("https://invalid-cert", context=context)
与 KBEngine 仓库的渊源:文档、源码与运行时
这份 whatsnew/3.4.rst 并非孤立文档,它与 KBEngine 仓库的 CPython 源码树互为表里:
- 文档归属:它位于 kbe/src/lib/python/Doc/whatsnew/,与 3.5、3.6、3.7 等同期发布说明并列;仓库内嵌 CPython 的当前版本是 3.7(见 Include/patchlevel.h 中
PY_MAJOR_VERSION 3/PY_MINOR_VERSION 7),因此本文所述 3.4 特性既是历史版本事实,也构成了理解仓库内嵌运行时当前能力的演进起点。 - 实现延续:3.4 引入的
asyncio、enum、pathlib、selectors、statistics、tracemalloc、ensurepip等模块在仓库 Lib/ 中全部存在并持续演进;ensurepip捆绑的 pip 已由 3.4.0 的 1.5.4 升级到 19.0.3(见 Lib/ensurepip/init.py 的_PIP_VERSION)。 - 项目中的应用:KBEngine 作为 MMOG 服务器引擎,把这份 CPython 作为内嵌脚本运行时使用——pyscript/script.cpp 中
Script::install()通过Py_Initialize()启动解释器、以PyRun_SimpleString执行初始化命令,卸载时Py_Finalize()收尾;服务器端实体与业务逻辑脚本(参见 python_assets 模板)都运行在这个 CPython 之上。因此,掌握 Python 3.4 之后引入的这些标准库能力(如 pathlib 路径操作、enum 常量、tracemalloc 内存追踪、ssl 校验机制),对编写与调试 KBEngine 的服务器脚本具有直接的现实价值。
总结而言,Python 3.4 是"基础设施之年":没有语法新花样,却系统性地强化了打包引导、导入机制、内存管理与安全性,同时为标准库注入了 asyncio 等影响深远的新模块。理解这份发布说明,既能指导存量代码向新版本迁移,也能帮助你在 KBEngine 这类内嵌 CPython 的项目中正确运用这些语言能力。