5分钟上手PrivateLM:从零安装到运行你的第一个本地AI模型
5分钟上手PrivateLM:从零安装到运行你的第一个本地AI模型
PrivateLM 是一个基于 Flutter 的跨平台本地 AI 聊天客户端,它把"手机离线推理 GGUF 本地大模型"和"云端 API"装进同一个应用里:没有网络时照样和 AI 聊天,需要更强能力时一键切到 OpenAI、Anthropic、Google Gemini 或 Kimi。数据默认只存在你自己的设备本地,隐私完全由你掌控。
这篇文章带你用约 5 分钟完成 PrivateLM 跨平台 AI 客户端的安装、模型下载和第一次本地对话。
为什么你需要一个本地 AI 客户端
- 🔒 隐私可控:本地模式下,聊天记录、设置全部保存在设备本地,不经过任何服务器
- 📴 离线可用:模型下载完成后,飞行模式下也能正常对话
- ☁️ 云端兜底:随时切换 OpenAI / Claude / Gemini / Kimi 等云端模型
- 📱 跨平台:Android、iOS、Web 三端覆盖,还支持多模态(发图给视觉模型看)
下图展示了 PrivateLM 本地 AI 模型在多款主流安卓手机上运行图像生成的效果,离线、无需联网:
安装 PrivateLM:三种平台安装方法
| 平台 | 本地推理 | 云端 API | 说明 |
|---|---|---|---|
| Android | ✅ | ✅ | Vulkan GPU 加速,minSdk 28 |
| iOS / iPad | ✅ | ✅ | Metal GPU 加速,推荐 iPad |
| Web | ❌ | ✅ | 仅云端模式 |
方法一:Android 直接安装 APK
到项目 Releases 页面下载最新 Android APK,安装后即可使用本地模型下载功能,这是运行本地 AI 模型最快的方式。
方法二:iOS / iPad 侧载安装
由于本地模型对内存有要求,iPad 是更推荐的安装目标(iPhone 也可以安装):
- 在 Mac 或 Windows 电脑上安装并运行 AltServer;
- 在 iOS 设备上安装 AltStore(与电脑同一 Wi-Fi 或用 USB 连接);
- 下载最新的
PrivateLM-iOS.zip,解压得到.ipa文件; - 在"文件"App 中找到该文件,点"共享" → 选择 AltStore 安装;
- iOS 16 及以上需在"设置 → 隐私与安全性 → 开发者模式"中开启开发者模式;
- 完成!应用出现在主屏幕,即可开始下载你的第一个本地 AI 模型。
💡 提示:侧载应用每 7 天过期,连接与电脑相同的 Wi-Fi 时 AltStore 会自动续期。
方法三:Web 版 / 源码构建
Web 版仅支持云端 API(本地推理即将上线),适合快速体验。如果你想从源码构建 PrivateLM 跨平台 AI 客户端,需要 Flutter SDK(>=3.3.0)、Android SDK、JDK 17:
git clone https://gitcode.com/gh_mirrors/cr/cross-platform-llm-client
cd cross-platform-llm-client
flutter pub get
flutter build apk --debug # Android 调试版
flutter build web --release # Web 发布版
完整构建与签名配置见 README.md 的 Build Configuration 章节;发布版签名前记得先复制 android/key.properties.example 为 android/key.properties 并填入 keystore 信息。
第一次对话:下载并加载你的第一个本地AI模型
打开 App 后,底部导航共有 4 个标签:Chat(聊天)、Models(模型)、Server(服务)、Settings(设置),界面定义在 lib/views/home_view.dart。
第 1 步:在 Models 页选择模型
点击底部 Models 标签,你会看到应用内置的模型商店(按体积从小到大排列),可浏览、可下载。内置模型清单定义在 lib/core/constants.dart,部分推荐:
| 模型 | 大小 | 适合谁 |
|---|---|---|
| LFM2.5 1.2B Instruct (GGUF) | 731 MB | 中端手机,回复飞快 |
| Qwen3 0.6B (LiteRT-LM) | 586 MB | 低内存手机也能跑 |
| Qwen2.5-3B Instruct (GGUF) | 2.1 GB | 速度与质量的最佳平衡 |
| Gemma 4 E4B (LiteRT-LM) | 3.4 GB | 高配旗舰机,效果最好 |
| Kimi Moonlight 16B-A3B (GGUF) | 7.1 GB | 16GB 内存旗舰,MoE 高质量 |
怎么选? 记住一条经验:模型大小 + 约 2GB 上下文开销 ≈ 需要的内存。8GB 内存手机选 1.5B~3B 级别最稳妥。
点击模型条目即可开始下载,进度实时可见。已有现成的 .gguf 文件?点右上角 Import 直接导入即可。
第 2 步:加载模型并发送第一句话
回到 Chat 标签,顶部会显示模型加载进度条(GPU 检测、线程分配、权重加载都在自动进行)。加载完成后输入一句话发送,例如:
请用一句话介绍你自己
首次回复会稍慢(需要预热计算图),之后的对话就会流畅起来。推理流程的核心代码在 lib/services/inference_service.dart,应用会自动检测你的 Vulkan GPU 能力并分配离核层数,无需任何手动配置。
如这张真实手机截图所示——输入 "A cat",PrivateLM 本地 AI 模型在设备上直接生成了图片,全程无需联网:
第 3 步(可选):切换到云端模型
想要更强的能力?进入 Settings → 推理模式切换为 Cloud API(入口见 lib/views/settings_view.dart),填入 OpenAI、Anthropic、Google Gemini 或 Kimi 的 API Key 即可。密钥通过本地 Hive 数据库加密保存在设备上,只会发往你选择的官方接口。云端 API 的统一适配逻辑见 lib/services/cloud_service.dart。
常见问题:PrivateLM本地AI模型运行排错指南
Q1:下载模型很慢? 模型文件通常在 500MB~7GB,建议用 Wi-Fi 下载,进度支持断点查看,下载在后台进行时可先干别的事。
Q2:提示内存不足 / 加载失败? 换更小的量化版本(Q4_K_M 或 Q3_K_S),或选 LiteRT-LM 运行时的模型;16GB 内存手机才建议尝试 7GB 以上的大模型。
Q3:第一次回复特别慢正常吗? 正常。首次推理要构建计算图和 GPU 预热,5 秒内无响应属正常现象;应用内置了 180 秒硬超时保护,卡死会自动中断。
Q4:隐私安全吗? 本地模式下对话、设置、API Key 全部只存在设备本地(Hive 存储),模型推理完全离线,没有任何数据上传。
写在最后
PrivateLM 证明了"手机跑本地大模型"已经不再是概念演示:安装 5 分钟、下载一个合适的模型、发出第一句话,你就拥有了一个既离线可用、又能无缝切云端的 AI 助手。建议新手从 2GB 左右的 Qwen2.5-3B 起步,之后再根据自己的机型逐步探索更大的本地模型和图像生成功能。

