OpenBLAS项目中使用flang-new编译器遇到的符号链接问题分析
问题背景
在编译OpenBLAS 0.3.27和0.3.29版本时,使用LLVM 19.1.1和20.1.0-rc1中的clang/flang-new工具链,虽然编译过程顺利完成且测试套件全部通过,但在生成的共享库中出现了几个意外的未定义符号。这些符号均以"_Fort"为前缀,包括_FortranAAssign、_FortranACharacterCompareScalar1等Fortran运行时相关函数。
问题表现
通过nm工具检查生成的libopenblas.so共享库时,可以观察到这些Fortran运行时符号被标记为未定义(U)。这在某些特定场景下会引发问题,特别是当该库被dlopen加载且未使用RTLD_LAZY标志时,系统会立即检查这些未定义符号,导致加载失败。
根本原因分析
经过深入调查,发现这个问题与构建系统的选择有关。当使用传统的gmake构建系统时,OpenBLAS的构建规则中有一个专门针对经典flang的特殊处理,但这个规则没有扩展到新的flang-new编译器。这导致在链接阶段,flang的运行时库(libFortranRuntime.a)没有被正确链接到最终的共享库中。
相比之下,使用CMake构建系统时则不会出现这个问题,因为它采用了不同的链接策略。值得注意的是,静态库版本(libopenblas.a)在任何情况下都只包含OpenBLAS自身的符号,因此总是需要额外链接其他依赖库。
解决方案
OpenBLAS项目团队已经通过PR #5138修复了这个问题。该修复确保在使用flang-new编译器时,Fortran运行时库会被正确链接到最终的共享库中。修复后,这些Fortran运行时符号将出现在共享库的符号表中,而不再是未定义状态。
技术细节
-
符号可见性:修复前,nm工具显示这些Fortran运行时符号为未定义(U);修复后,这些符号将显示为已定义(T)。
-
构建系统差异:
- gmake构建:需要特殊规则处理flang运行时链接
- CMake构建:自动处理依赖关系,不易出现此问题
-
运行时影响:这个问题在直接链接时通常不会显现,但在动态加载(dlopen)场景下可能引发问题。
最佳实践建议
-
对于使用flang-new编译器的用户,建议更新到包含此修复的OpenBLAS版本。
-
在依赖OpenBLAS的项目中,如果遇到类似的符号未定义问题,可以考虑:
- 检查构建系统是否正确处理了Fortran运行时依赖
- 确保使用一致的编译器工具链
- 在动态加载时考虑使用RTLD_LAZY标志
-
对于科学计算软件栈的构建者,建议全面测试各组件间的兼容性,特别是在混合使用不同编译器构建的组件时。
这个问题展示了在现代科学计算软件生态中,编译器工具链与数值计算库之间复杂的交互关系,也体现了OpenBLAS项目对多编译器支持持续改进的承诺。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0172
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook096
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
BitCPM-CANN-8BBitCPM-CANN 是首个基于华为昇腾 NPU 原生构建的端到端 1.58 位(三值化)大语言模型训练系统。该系统将量化感知训练(QAT)集成到 Megatron-LM 框架中,并结合 MindSpeed 加速,覆盖了从自定义三值算子到基于昇腾 910B 的分布式并行训练的完整训练栈。Python00
MiniCPM5-1BMiniCPM5-1B,这是 MiniCPM5 系列的首款模型。它是一个专为端侧、本地部署和资源受限场景打造的 10 亿参数密集型 Transformer 模型,达到了 10 亿参数级开源模型的 SOTA 水平Jinja00
skillhubopenJiuwen 生态的 Skill 托管与分发开源方案,支持自建与可选 ClawHub 兼容。Python0239