oneDNN在ARM架构上的卷积性能回归问题分析与解决
问题背景
在深度学习推理框架oneDNN中,开发人员发现当使用ARM Compute Library(ACL)作为后端时,在Apple M2 Pro处理器上出现了卷积操作的性能退化现象。具体表现为某些特定卷积配置在ACL版本升级后执行时间显著增加。
性能退化现象
通过benchdnn测试工具,开发人员复现了以下典型性能退化案例:
-
对于输入形状为mb1_ic16oc96_ih112oh112kh1的卷积操作:
- ACL 24.09版本耗时:0.135毫秒
- ACL 24.11版本耗时:0.4毫秒
-
对于输入形状为mb1_ic144oc24_ih56oh56kh1的卷积操作:
- ACL 24.09版本耗时:0.1毫秒
- ACL 24.11版本耗时:0.22毫秒
-
对于输入形状为mb1_ic24oc144_ih56oh56kh1的卷积操作:
- ACL 24.09版本耗时:0.099毫秒
- ACL 24.11版本耗时:0.196毫秒
问题分析
经过技术团队调查,发现性能退化主要源于以下几个方面:
-
ACL版本兼容性问题:oneDNN 3.6.2版本要求最低ACL版本为24.11.1,而早期测试中使用了不兼容的ACL 24.09版本,导致性能基准不一致。
-
特定卷积配置敏感:某些特定形状的卷积操作(如1x1卷积)对底层实现的变化特别敏感,微小的算法调整可能导致显著的性能差异。
-
内存布局影响:测试中使用的"acdb"内存布局(一种特殊的NHWC变体)对性能有较大影响,当切换为"any"布局时性能表现会有所不同。
解决方案与验证
技术团队采取了以下措施解决该问题:
-
版本控制:确保使用兼容的ACL版本组合,避免因版本不匹配导致的性能问题。
-
问题定位:通过分析发现,导致性能退化的补丁已被回滚,后续版本中性能退化程度有所减轻。
-
持续监控:建立更完善的性能基准测试体系,对关键卷积操作进行定期性能监控。
-
版本升级验证:在ACL v52.1.0版本上验证,确认性能已恢复到合理水平:
- 原始测试案例在ACL v52.1.0上分别耗时0.15毫秒、0.11毫秒和0.11毫秒
技术建议
对于使用oneDNN和ACL的开发者,建议:
-
始终使用官方推荐的版本组合,避免兼容性问题。
-
对于性能关键的应用,建议进行全面的基准测试,覆盖各种可能的输入形状和内存布局。
-
关注oneDNN的verbose输出(使用ONEDNN_VERBOSE=dispatch),了解实际调用的内核实现。
-
对于Apple Silicon等ARM架构处理器,特别注意内存布局对性能的影响,必要时进行布局优化。
结论
本次性能回归问题展示了深度学习框架底层优化的重要性。通过技术团队的及时响应和深入分析,不仅解决了特定版本下的性能退化问题,还建立了更完善的性能监控机制。这为oneDNN在ARM架构上的持续优化奠定了坚实基础,也为开发者提供了宝贵的性能调优经验。
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-OCR暂无简介Python00
openPangu-Ultra-MoE-718B-V1.1昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
AI内容魔方AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03
Spark-Scilit-X1-13BFLYTEK Spark Scilit-X1-13B is based on the latest generation of iFLYTEK Foundation Model, and has been trained on multiple core tasks derived from scientific literature. As a large language model tailored for academic research scenarios, it has shown excellent performance in Paper Assisted Reading, Academic Translation, English Polishing, and Review Generation, aiming to provide efficient and accurate intelligent assistance for researchers, faculty members, and students.Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile013
Spark-Chemistry-X1-13B科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00