Pyodide 中 pytest 测试框架运行失败问题分析与解决
问题背景
Pyodide 是一个能够在浏览器中运行 Python 的科学计算栈的项目,它将 Python 解释器和科学计算库编译为 WebAssembly。近期在使用 Pyodide 环境运行 pytest 测试框架时,出现了测试收集阶段失败的问题。
问题现象
在 Pyodide 环境中执行简单的 pytest 命令时,会出现以下错误:
FileNotFoundError: [Errno 44] No such file or directory
错误发生在 pytest 尝试截断临时文件时,具体是在 _pytest/capture.py
文件的 snap()
方法中调用 self.tmpfile.truncate()
时失败。
技术分析
根本原因
这个问题源于 Emscripten 对文件描述符处理的不足。在 Emscripten 的实现中:
- 每个文件描述符都映射到一个
FSStream
ftruncate(fd, len)
的实现方式是调用truncate(stream.path, len)
这种实现存在一个关键缺陷:并非所有文件描述符都有对应的文件路径。实际上,创建"未命名临时文件"是一种常见模式,即打开一个文件后立即取消其链接。
更深层次的技术细节
在 Unix 系统中,文件描述符和文件路径是两个独立的概念。一个文件被打开后,即使其路径被删除(unlink),文件描述符仍然有效,直到被显式关闭。这种机制常被用于创建临时文件。
然而,Emscripten 的实现假设每个文件描述符都有对应的路径,这在处理 pytest 的临时文件捕获机制时导致了问题。pytest 使用临时文件来捕获测试输出,这些文件可能没有持久化的路径。
解决方案
上游修复
这个问题已经在 Emscripten 核心项目中得到修复。修复内容包括:
- 正确处理没有路径的文件描述符
- 实现了真正的
ftruncate
系统调用语义 - 确保临时文件操作的正确性
Pyodide 版本影响
该问题影响了 Pyodide 0.27.4 版本。虽然修复已经存在于上游,但在 Pyodide 0.27.4 发布时,由于构建过程中的一个手动操作错误,导致修复没有正确包含在发布版本中。
临时解决方案
对于无法立即升级的用户,可以考虑以下临时方案:
- 使用 pytest 的
-p no:capture
参数禁用输出捕获 - 在测试代码中避免使用需要文件截断的操作
- 等待 Pyodide 0.27.5 修复版本发布
最佳实践建议
对于在 Pyodide 环境中运行测试的用户,建议:
- 定期更新 Pyodide 版本以获取最新的修复
- 在 CI 环境中明确指定 Pyodide 版本
- 对于关键测试流程,考虑添加版本检查逻辑
- 关注 Pyodide 项目的发布说明,了解兼容性变化
总结
Pyodide 环境中 pytest 运行失败的问题展示了 WebAssembly 环境下系统调用模拟的复杂性。通过上游修复和版本管理,这个问题已经得到解决。对于依赖 Pyodide 进行测试的开发者,理解这些底层机制有助于更好地诊断和解决类似问题。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0370Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++098AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









