Pyodide 中 pytest 测试框架运行失败问题分析与解决
问题背景
Pyodide 是一个能够在浏览器中运行 Python 的科学计算栈的项目,它将 Python 解释器和科学计算库编译为 WebAssembly。近期在使用 Pyodide 环境运行 pytest 测试框架时,出现了测试收集阶段失败的问题。
问题现象
在 Pyodide 环境中执行简单的 pytest 命令时,会出现以下错误:
FileNotFoundError: [Errno 44] No such file or directory
错误发生在 pytest 尝试截断临时文件时,具体是在 _pytest/capture.py
文件的 snap()
方法中调用 self.tmpfile.truncate()
时失败。
技术分析
根本原因
这个问题源于 Emscripten 对文件描述符处理的不足。在 Emscripten 的实现中:
- 每个文件描述符都映射到一个
FSStream
ftruncate(fd, len)
的实现方式是调用truncate(stream.path, len)
这种实现存在一个关键缺陷:并非所有文件描述符都有对应的文件路径。实际上,创建"未命名临时文件"是一种常见模式,即打开一个文件后立即取消其链接。
更深层次的技术细节
在 Unix 系统中,文件描述符和文件路径是两个独立的概念。一个文件被打开后,即使其路径被删除(unlink),文件描述符仍然有效,直到被显式关闭。这种机制常被用于创建临时文件。
然而,Emscripten 的实现假设每个文件描述符都有对应的路径,这在处理 pytest 的临时文件捕获机制时导致了问题。pytest 使用临时文件来捕获测试输出,这些文件可能没有持久化的路径。
解决方案
上游修复
这个问题已经在 Emscripten 核心项目中得到修复。修复内容包括:
- 正确处理没有路径的文件描述符
- 实现了真正的
ftruncate
系统调用语义 - 确保临时文件操作的正确性
Pyodide 版本影响
该问题影响了 Pyodide 0.27.4 版本。虽然修复已经存在于上游,但在 Pyodide 0.27.4 发布时,由于构建过程中的一个手动操作错误,导致修复没有正确包含在发布版本中。
临时解决方案
对于无法立即升级的用户,可以考虑以下临时方案:
- 使用 pytest 的
-p no:capture
参数禁用输出捕获 - 在测试代码中避免使用需要文件截断的操作
- 等待 Pyodide 0.27.5 修复版本发布
最佳实践建议
对于在 Pyodide 环境中运行测试的用户,建议:
- 定期更新 Pyodide 版本以获取最新的修复
- 在 CI 环境中明确指定 Pyodide 版本
- 对于关键测试流程,考虑添加版本检查逻辑
- 关注 Pyodide 项目的发布说明,了解兼容性变化
总结
Pyodide 环境中 pytest 运行失败的问题展示了 WebAssembly 环境下系统调用模拟的复杂性。通过上游修复和版本管理,这个问题已经得到解决。对于依赖 Pyodide 进行测试的开发者,理解这些底层机制有助于更好地诊断和解决类似问题。
cherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端TypeScript037RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统Vue0407arkanalyzer
方舟分析器:面向ArkTS语言的静态程序分析框架TypeScript040GitCode百大开源项目
GitCode百大计划旨在表彰GitCode平台上积极推动项目社区化,拥有广泛影响力的G-Star项目,入选项目不仅代表了GitCode开源生态的蓬勃发展,也反映了当下开源行业的发展趋势。03CS-Books
🔥🔥超过1000本的计算机经典书籍、个人笔记资料以及本人在各平台发表文章中所涉及的资源等。书籍资源包括C/C++、Java、Python、Go语言、数据结构与算法、操作系统、后端架构、计算机系统知识、数据库、计算机网络、设计模式、前端、汇编以及校招社招各种面经~07openGauss-server
openGauss kernel ~ openGauss is an open source relational database management systemC++0145
热门内容推荐
最新内容推荐
项目优选









