在MacOS上部署OpenBMB/OmniLMM 2.6版本的技术指南
问题背景
在MacOS系统上部署OpenBMB/OmniLMM 2.6版本时,开发者遇到了两个主要的技术障碍:首先是编译过程中出现的'cblas.h'文件未找到错误,其次是运行时的"invalid logits id"错误。本文将详细分析问题原因并提供完整的解决方案。
环境准备
在开始部署前,请确保您的系统满足以下要求:
- MacOS 14.5或更高版本(建议15.0 Beta以上)
- 已安装Homebrew包管理器
- 已安装Go 1.22.6或更高版本
- 已安装CMake和GCC编译器
部署步骤
-
克隆代码仓库
git clone -b minicpm-v2.6 https://github.com/OpenBMB/ollama.git cd ollama/llm git clone -b minicpmv-main https://github.com/OpenBMB/llama.cpp.git cd ../ -
安装必要依赖
brew install go cmake gcc openblas
解决'cblas.h'文件未找到错误
这个问题的根源在于MacOS系统对BLAS库的特殊处理方式。苹果系统自带了Accelerate框架,其中包含了优化过的BLAS实现,但系统会阻止使用第三方BLAS库。
解决方案
-
定位正确的头文件路径:
- 传统OpenBLAS路径:
/opt/homebrew/Cellar/openblas/0.3.27/include - 系统Accelerate框架路径:
/Library/Developer/CommandLineTools/SDKs/MacOSX14.4.sdk/System/Library/Frameworks/Accelerate.framework/Versions/A/Frameworks/vecLib.framework/Versions/A/Headers
- 传统OpenBLAS路径:
-
修改
llm/llama.cpp/CMakeLists.txt文件,添加以下内容:# Include directories include_directories(/Library/Developer/CommandLineTools/SDKs/MacOSX14.4.sdk/System/Library/Frameworks/Accelerate.framework/Versions/A/Frameworks/vecLib.framework/Versions/A/Headers)注意:某些情况下CMakeLists.txt会被自动重写,如果发现修改被还原,可以尝试在修改后立即执行编译命令。
解决链接错误
在执行go build .时,可能会遇到关于_openblas_set_num_threads符号未定义的错误。这是因为链接器没有正确找到BLAS实现。
解决方案
设置环境变量,强制使用系统Accelerate框架:
export CGO_LDFLAGS="-framework Accelerate"
然后重新执行构建命令。
运行时"invalid logits id"错误
即使成功编译,运行时仍可能出现"llama_get_logits_ith: invalid logits id 10, reason: no logits"的错误。这是当前版本的一个已知问题,与模型推理过程中的logits处理逻辑有关。
临时解决方案
目前社区仍在积极解决这个问题,可以尝试以下方法:
- 回退到2.5版本(如果功能满足需求)
- 关注项目更新,等待官方修复
- 尝试使用webdemo替代方案
最佳实践建议
-
系统版本选择:建议使用MacOS 15.0 Beta或更高版本,苹果在这些版本中对BLAS支持做了优化。
-
环境隔离:考虑使用虚拟环境或容器技术来隔离部署环境,避免系统库冲突。
-
编译顺序:确保按照正确的顺序执行命令:
go generate ./... go build . -
调试技巧:如果遇到问题,可以尝试:
- 清理之前的构建产物
- 检查各依赖库的版本兼容性
- 查看详细的构建日志(添加-v参数)
总结
在MacOS上部署OpenBMB/OmniLMM 2.6版本虽然存在一些技术挑战,但通过正确配置BLAS库路径和链接选项,可以成功完成编译。运行时logits问题需要等待官方修复。建议开发者保持对项目更新的关注,并及时应用最新的修复补丁。
对于生产环境部署,建议在问题完全解决前暂时使用稳定版本,或考虑使用其他兼容性更好的部署方案。随着苹果对机器学习框架支持的不断改进,未来在MacOS上的部署体验有望得到进一步提升。
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-OCR暂无简介Python00
openPangu-Ultra-MoE-718B-V1.1昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
AI内容魔方AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03
Spark-Scilit-X1-13BFLYTEK Spark Scilit-X1-13B is based on the latest generation of iFLYTEK Foundation Model, and has been trained on multiple core tasks derived from scientific literature. As a large language model tailored for academic research scenarios, it has shown excellent performance in Paper Assisted Reading, Academic Translation, English Polishing, and Review Generation, aiming to provide efficient and accurate intelligent assistance for researchers, faculty members, and students.Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile013
Spark-Chemistry-X1-13B科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00