拆解Mimi技术栈:Tauri + Rust + React 构建跨平台实时字幕工具的完整架构

原创2026-10-29 15:08:391,912 阅读

拆解Mimi技术栈:Tauri + Rust + React 构建跨平台实时字幕工具的完整架构

Mimi 是一款开源的实时翻译字幕工具:它监听电脑系统声音或麦克风音频,借助语音识别与翻译服务,把正在播放的内容实时转成双语字幕,显示在一个悬浮的置顶窗口里。整款应用基于 Tauri v2 + Rust + React 构建,桌面端覆盖 macOS、Windows、Linux,Android 端复用同一套 Rust 核心。

Mimi 实时翻译字幕工具:悬浮双语字幕窗示意

🧩 整体架构:四层分工一图看懂

Mimi 的目录组织本身就是它的架构说明书,自底向上分为四层:

┌────────────────────────────────────────────────┐
│  React 19 + TypeScript 前端(3 个窗口界面)        │  src/
├────────────────────────────────────────────────┤
│  Tauri v2 Shell:IPC 命令 / 窗口 / 托盘 / 快捷键   │  src-tauri/src/
├────────────────────────────────────────────────┤
│  共享 Rust 运行时:识别翻译客户端 + 字幕状态机       │  shared/mimi-runtime、mimi-core
├────────────────────────────────────────────────┤
│  平台原生适配:音频采集 / 凭据存储 / Android JNI    │  src-tauri/src/audio、mimi-android-jni
└────────────────────────────────────────────────┘
层级 目录 职责
前端 src/ 悬浮字幕、控制面板、设置页三大界面
应用壳 src-tauri/src/ IPC 命令、窗口管理、托盘、全局快捷键、自动更新
共享运行时 shared/mimi-runtime/ 20+ 家 AI 服务商的识别/翻译客户端与调度
共享核心 shared/mimi-core/ 字幕状态机、译文配对与最终化策略

这个分层的最大特点是:与 UI 无关的业务逻辑全部沉淀在 shared/ 的两个 Rust crate 里,桌面端直接引用,Android 通过 JNI 调用,从源头保证了双端行为一致。

🖥️ 前端层:React 19 的三窗口设计

前端是一个标准的现代 React 工程:React 19 + TypeScript + Vite 7 + Tailwind CSS + zustand,依赖清单见 package.json。

它有三个产品界面,由同一个入口按窗口标签懒加载:

  • overlay:悬浮字幕窗,置顶、可点击穿透,是用户盯着的核心;
  • overlay-control:状态岛与控制面板;
  • settings:主设置窗口,管理服务凭据、音源、语言与字幕样式。

窗口分发逻辑见 App.tsx。前后端的通信契约集中在 src/lib/ipc.ts:每个函数都是对 Rust 侧 Tauri 命令的薄封装(如 session_start、session_stop),并与 src-tauri/src/commands.rs 一一对应;Rust 侧通过 session-state、settings-changed 等事件把快照推回前端。src/lib/store.ts 还做了一个巧妙的设计——纯 vite dev 环境下自动模拟后端行为,前端可以脱离 Rust 独立开发。

Mimi 实时字幕工具在视频画面上叠加中文翻译字幕

⚙️ 后端层:Tauri v2 + Rust 驱动实时管线

后端是整条实时管线的"调度中枢",核心模块分工清晰(详见 AGENTS.md 的仓库地图):

  • src-tauri/src/session_manager.rs:会话生命周期——启动/停止/暂停/恢复、语言与模式切换、健康检查、断线自动重连;
  • src-tauri/src/audio/:平台音频采集与有界 PCM 发送管线,含回声消除与重采样(rubato、SpeexDSP AEC);
  • src-tauri/src/settings_store.rs:偏好/配置存 JSON,API 密钥单独存私有的本地凭据文件,与偏好隔离;
  • src-tauri/src/ 的窗口与托盘模块:悬浮窗生命周期、原生托盘菜单、全局快捷键、单实例保护。

安全与体积上也有讲究:tauri.conf.json 配置了严格的 CSP 策略;发布构建开启 lto、opt-level = "s"、panic = "abort" 与符号剥离(Cargo.toml),换来一个体积紧凑的桌面二进制。自动更新则走 Tauri updater 插件,用公钥校验签名。

📱 共享核心:一份 Rust 代码同时支撑桌面与 Android

这是 Mimi 架构里最"硬核"的部分,也是它区别于普通 Tauri 应用的地方:

  • shared/mimi-core/:零平台依赖(只依赖 serde),实现字幕状态机、流式预览与最终字幕的配对(live_pair_aligner)、翻译最终化策略;
  • shared/mimi-runtime/:可移植的"服务商运行时"——tokio 异步 + tokio-tungstenite WebSocket + reqwest/rustls HTTP,内置 20 多个客户端(clients/),覆盖 OpenAI、Gemini Live、Qwen、通义、DeepL、Azure、腾讯、火山、x.ai、Apple 本地语音等,外加有界 PCM 管线、MT 调度、重连恢复与连接探测;
  • shared/mimi-android-jni/:一层薄薄的 JNI 适配器,让 Android(Kotlin)生产引擎调用同一份 Rust 运行时,而不是再写一遍逻辑。

Mimi Android 版实时翻译字幕:收听播客时的中文字幕

配合 shared/ 下的行为契约文件(subtitle-contracts.json、translation-contracts.json 等),Rust 直测与真实 JNI 测试跑同一套 fixture——桌面端修一个字幕 bug,Android 端自动跟随,不需要第二次人工实现。

🎧 音频采集:三大平台三种原生方案

"监听电脑声音"看似一句话,实际是每个平台的原生硬仗,实现集中在 src-tauri/src/audio/:

平台 采集方案
macOS ScreenCaptureKit 系统音轨 + Core Audio tap,新版系统优先 tap(macos_tap.rs)
Windows WASAPI loopback(cpal),并为 WASAPI 静默帧标记问题维护了本地补丁
Linux PulseAudio / PipeWire-Pulse 输出监控,支持选择单独的播放流

麦克风是显式选择才启用的第二路音源,两路音源各自独立采集、独立队列,绝不混流。macOS 的 Apple 本地语音/翻译能力则通过 Swift Bridge(apple-speech/Bridge.swift)接入。

🚀 工程化实践:从开发到发布的完整链路

  • 本地快速迭代:./scripts/dev-app.sh --watch 让 React/CSS 改动热更新进已签名的原生壳,无需重编 Rust;
  • 统一校验入口:scripts/check.sh 一键跑 cargo fmt/clippy/test + 前端 typecheck/lint/test/build;
  • CI:macOS / Windows / Linux 三平台的 Rust 检查 + 前端检查,共享源码变更同时触发桌面与 Android 构建;
  • 设计留痕:docs/plans/ 沉淀了 170 余篇设计文档(音源采集、悬浮窗行为、凭据存储、Android 接入……),是理解每个决策的最佳入口。

小结

Mimi 的技术选型非常务实:React 负责"好看",Rust 负责"快而稳",Tauri 负责"跨平台且省资源"。而它最值得借鉴的,是把业务核心抽成平台无关的 shared crate、并用契约测试锁住多端一致性的架构纪律——这套思路对任何做多端 AI 应用的团队都有参考价值。想动手看看,可以从 docs/provider-setup.zh-CN.md 配置你的第一个 AI 服务商,跑起来一条真实的实时字幕流。

登录后查看全文
Mimi