5分钟上手PrivateLM:从零安装到运行你的第一个本地AI模型

原创2026-10-15 09:34:561,824 阅读

5分钟上手PrivateLM:从零安装到运行你的第一个本地AI模型

PrivateLM 是一个基于 Flutter 的跨平台本地 AI 聊天客户端,它把"手机离线推理 GGUF 本地大模型"和"云端 API"装进同一个应用里:没有网络时照样和 AI 聊天,需要更强能力时一键切到 OpenAI、Anthropic、Google Gemini 或 Kimi。数据默认只存在你自己的设备本地,隐私完全由你掌控。

这篇文章带你用约 5 分钟完成 PrivateLM 跨平台 AI 客户端的安装、模型下载和第一次本地对话。

为什么你需要一个本地 AI 客户端

  • 🔒 隐私可控:本地模式下,聊天记录、设置全部保存在设备本地,不经过任何服务器
  • 📴 离线可用:模型下载完成后,飞行模式下也能正常对话
  • ☁️ 云端兜底:随时切换 OpenAI / Claude / Gemini / Kimi 等云端模型
  • 📱 跨平台:Android、iOS、Web 三端覆盖,还支持多模态(发图给视觉模型看)

下图展示了 PrivateLM 本地 AI 模型在多款主流安卓手机上运行图像生成的效果,离线、无需联网:

PrivateLM跨平台AI客户端在多台安卓手机上运行本地AI模型生成月亮图像的对比图

安装 PrivateLM:三种平台安装方法

平台 本地推理 云端 API 说明
Android ✅ ✅ Vulkan GPU 加速,minSdk 28
iOS / iPad ✅ ✅ Metal GPU 加速,推荐 iPad
Web ❌ ✅ 仅云端模式

方法一:Android 直接安装 APK

到项目 Releases 页面下载最新 Android APK,安装后即可使用本地模型下载功能,这是运行本地 AI 模型最快的方式。

方法二:iOS / iPad 侧载安装

由于本地模型对内存有要求,iPad 是更推荐的安装目标(iPhone 也可以安装):

  1. 在 Mac 或 Windows 电脑上安装并运行 AltServer;
  2. 在 iOS 设备上安装 AltStore(与电脑同一 Wi-Fi 或用 USB 连接);
  3. 下载最新的 PrivateLM-iOS.zip,解压得到 .ipa 文件;
  4. 在"文件"App 中找到该文件,点"共享" → 选择 AltStore 安装;
  5. iOS 16 及以上需在"设置 → 隐私与安全性 → 开发者模式"中开启开发者模式;
  6. 完成!应用出现在主屏幕,即可开始下载你的第一个本地 AI 模型。

💡 提示:侧载应用每 7 天过期,连接与电脑相同的 Wi-Fi 时 AltStore 会自动续期。

方法三:Web 版 / 源码构建

Web 版仅支持云端 API(本地推理即将上线),适合快速体验。如果你想从源码构建 PrivateLM 跨平台 AI 客户端,需要 Flutter SDK(>=3.3.0)、Android SDK、JDK 17:

git clone https://gitcode.com/gh_mirrors/cr/cross-platform-llm-client
cd cross-platform-llm-client
flutter pub get
flutter build apk --debug   # Android 调试版
flutter build web --release # Web 发布版

完整构建与签名配置见 README.md 的 Build Configuration 章节;发布版签名前记得先复制 android/key.properties.example 为 android/key.properties 并填入 keystore 信息。

第一次对话:下载并加载你的第一个本地AI模型

打开 App 后,底部导航共有 4 个标签:Chat(聊天)、Models(模型)、Server(服务)、Settings(设置),界面定义在 lib/views/home_view.dart。

第 1 步:在 Models 页选择模型

点击底部 Models 标签,你会看到应用内置的模型商店(按体积从小到大排列),可浏览、可下载。内置模型清单定义在 lib/core/constants.dart,部分推荐:

模型 大小 适合谁
LFM2.5 1.2B Instruct (GGUF) 731 MB 中端手机,回复飞快
Qwen3 0.6B (LiteRT-LM) 586 MB 低内存手机也能跑
Qwen2.5-3B Instruct (GGUF) 2.1 GB 速度与质量的最佳平衡
Gemma 4 E4B (LiteRT-LM) 3.4 GB 高配旗舰机,效果最好
Kimi Moonlight 16B-A3B (GGUF) 7.1 GB 16GB 内存旗舰,MoE 高质量

怎么选? 记住一条经验:模型大小 + 约 2GB 上下文开销 ≈ 需要的内存。8GB 内存手机选 1.5B~3B 级别最稳妥。

点击模型条目即可开始下载,进度实时可见。已有现成的 .gguf 文件?点右上角 Import 直接导入即可。

第 2 步:加载模型并发送第一句话

回到 Chat 标签,顶部会显示模型加载进度条(GPU 检测、线程分配、权重加载都在自动进行)。加载完成后输入一句话发送,例如:

请用一句话介绍你自己

首次回复会稍慢(需要预热计算图),之后的对话就会流畅起来。推理流程的核心代码在 lib/services/inference_service.dart,应用会自动检测你的 Vulkan GPU 能力并分配离核层数,无需任何手动配置。

如这张真实手机截图所示——输入 "A cat",PrivateLM 本地 AI 模型在设备上直接生成了图片,全程无需联网:

PrivateLM手机App界面展示本地AI图像生成效果,手机离线生成一只猫的照片

第 3 步(可选):切换到云端模型

想要更强的能力?进入 Settings → 推理模式切换为 Cloud API(入口见 lib/views/settings_view.dart),填入 OpenAI、Anthropic、Google Gemini 或 Kimi 的 API Key 即可。密钥通过本地 Hive 数据库加密保存在设备上,只会发往你选择的官方接口。云端 API 的统一适配逻辑见 lib/services/cloud_service.dart。

常见问题:PrivateLM本地AI模型运行排错指南

Q1:下载模型很慢? 模型文件通常在 500MB~7GB,建议用 Wi-Fi 下载,进度支持断点查看,下载在后台进行时可先干别的事。

Q2:提示内存不足 / 加载失败? 换更小的量化版本(Q4_K_M 或 Q3_K_S),或选 LiteRT-LM 运行时的模型;16GB 内存手机才建议尝试 7GB 以上的大模型。

Q3:第一次回复特别慢正常吗? 正常。首次推理要构建计算图和 GPU 预热,5 秒内无响应属正常现象;应用内置了 180 秒硬超时保护,卡死会自动中断。

Q4:隐私安全吗? 本地模式下对话、设置、API Key 全部只存在设备本地(Hive 存储),模型推理完全离线,没有任何数据上传。

写在最后

PrivateLM 证明了"手机跑本地大模型"已经不再是概念演示:安装 5 分钟、下载一个合适的模型、发出第一句话,你就拥有了一个既离线可用、又能无缝切云端的 AI 助手。建议新手从 2GB 左右的 Qwen2.5-3B 起步,之后再根据自己的机型逐步探索更大的本地模型和图像生成功能。

登录后查看全文
cross-platform-llm-client