MateClaw多模态创作全解:语音、图片、音乐、视频、3D与JVM原生文档生成

原创2026-10-13 09:49:551,378 阅读
文章标签:人工智能AI AgentAgent 工作流交互助手后端前端语音

MateClaw多模态创作全解:语音、图片、音乐、视频、3D与JVM原生文档生成

MateClaw 多模态创作能力让你在一个平台上完成语音识别、语音合成、图片生成、音乐、视频、3D 模型,甚至无需安装 Office 的 JVM 原生文档生成(Word / Excel / PPT / PDF)。所有能力均为"一等公民":统一在设置页开启、支持多 Provider 与故障自动转移,员工(Agent)可直接调用相应工具产出成品文件。

MateClaw 多模态创作控制台界面总览

上图:MateClaw 控制台总览,设置入口中集中管理各类多模态能力

🎤 语音:语音识别 + 语音合成

语音识别(STT) 把音频变成文字,支持两家 Provider:

  • OpenAI Whisper(含任意 OpenAI 兼容端点:FunASR、SiliconFlow、Groq 等)
  • DashScope Qwen3-ASR Flash

语音合成(TTS) 支持三档选择:

  • Edge TTS——完全免费,开箱即用
  • DashScope CosyVoice
  • OpenAI TTS

TTS 页面内置试听按钮,切换音色可即时预览效果。相关实现位于:

💡 每类能力都提供 Fallback 开关:首选 Provider 不可用时自动切换备用,避免单点故障导致创作中断。

🖼️ 图片:文生图 + 图像编辑

图片生成支持 6 家 Provider,覆盖国内外主流模型:

Provider 模型
DashScope 通义万相
智谱 CogView
OpenAI DALL-E
fal.ai Flux
Google Gemini Image (Nano Banana)
MiniMax MiniMax Image

两个进阶特性值得新手关注:

  1. 图像编辑:用 msg:<id>:<idx> 引用会话里更早的某张图,让模型改色、改风格;
  2. 多模态旁路(1.3.0+):纯文本主模型收到图片附件时,自动调用配置好的视觉模型转为文字描述——主对话保持低成本。

核心工具见 ImageGenerateTool.java,配置入口在 Image/index.vue。

🎵 音乐:一句话生成歌曲

音乐生成支持 Google Lyria 与 MiniMax Music,直接复用已配置的 LLM 密钥即可开启。实现在 MusicGenerateTool.java,配置页见 Music/index.vue。

🎬 视频:文生视频全覆盖

视频生成支持 6 个 Provider:DashScope 通义万相、智谱 CogVideoX、fal.ai(Kling / Runway / Luma)、快手可灵 Kling、Runway、MiniMax Hailuo。核心工具为 VideoGenerateTool.java,配置入口在 Video/index.vue。

🧊 3D 模型:文字描述变立体模型

3D 模型生成目前接入 腾讯混元 3D(hunyuan-3d),在 Model3D/index.vue 开启后,员工即可通过 Model3dGenerateTool.java 把文字描述渲染成 3D 资产。

📄 亮点:JVM 原生文档生成

这是 MateClaw 最有差异化的能力——4 个文档生成工具在 JVM 进程内把 Markdown 直接渲染成 Office 文件:

工具 产物
DocxRenderTool 可编辑 .docx(报告、合同、简历)
XlsxRenderTool .xlsx 表格
PptxRenderTool .pptx 幻灯片
PdfRenderTool .pdf 交付件

为什么是"JVM 原生"? 传统方案需要 fork 子进程、npm install(冷启动 3-5 分钟)、甚至安装 Office。MateClaw 基于 Apache POI 在进程内生成字节流,SVG 图片再由 Apache Batik 光栅化后嵌入,零外部依赖:

生成结果会进入 GeneratedFileCache,并在对话中返回一次性下载链接,点击即得文件。

🚀 快速上手步骤

  1. 启动:mvn spring-boot:run(后端,默认 18088 端口)
  2. 配置模型:设置 → 模型,填入至少一家 Provider 的 API Key
  3. 开启能力:设置 下分别进入 语音识别 / 语音合成 / 图片生成 / 音乐生成 / 视频生成 / 3D 模型,打开总开关并选择首选 Provider
  4. 打开 Fallback:推荐开启故障转移,创作链路更稳
  5. 直接对话:在 Chat 中对员工说"把这份 Markdown 渲染成 Word 文档"或"生成一段 9:16 的短视频脚本配图",即可看到工具调用与成品文件

📌 能力总开关与 Provider 优先级全部集中在设置页,源码参考 mateclaw-ui/src/views/Settings/ 目录;中文功能说明见 README_zh.md。

小结

MateClaw 把多模态创作做成了平台级能力:语音、图片、音乐、视频、3D 五大生成方向统一配置、统一故障转移;JVM 原生文档生成则彻底摆脱了对 Node 子进程和 Office 的依赖。对于新手来说,只需在设置页打开开关、填好 Key,剩下的交给对话即可。

登录后查看全文
mateclaw