MateClaw多模态创作全解:语音、图片、音乐、视频、3D与JVM原生文档生成
MateClaw多模态创作全解:语音、图片、音乐、视频、3D与JVM原生文档生成
MateClaw 多模态创作能力让你在一个平台上完成语音识别、语音合成、图片生成、音乐、视频、3D 模型,甚至无需安装 Office 的 JVM 原生文档生成(Word / Excel / PPT / PDF)。所有能力均为"一等公民":统一在设置页开启、支持多 Provider 与故障自动转移,员工(Agent)可直接调用相应工具产出成品文件。
上图:MateClaw 控制台总览,设置入口中集中管理各类多模态能力
🎤 语音:语音识别 + 语音合成
语音识别(STT) 把音频变成文字,支持两家 Provider:
- OpenAI Whisper(含任意 OpenAI 兼容端点:FunASR、SiliconFlow、Groq 等)
- DashScope Qwen3-ASR Flash
语音合成(TTS) 支持三档选择:
- Edge TTS——完全免费,开箱即用
- DashScope CosyVoice
- OpenAI TTS
TTS 页面内置试听按钮,切换音色可即时预览效果。相关实现位于:
💡 每类能力都提供 Fallback 开关:首选 Provider 不可用时自动切换备用,避免单点故障导致创作中断。
🖼️ 图片:文生图 + 图像编辑
图片生成支持 6 家 Provider,覆盖国内外主流模型:
| Provider | 模型 |
|---|---|
| DashScope | 通义万相 |
| 智谱 | CogView |
| OpenAI | DALL-E |
| fal.ai | Flux |
| Gemini Image (Nano Banana) | |
| MiniMax | MiniMax Image |
两个进阶特性值得新手关注:
- 图像编辑:用
msg:<id>:<idx>引用会话里更早的某张图,让模型改色、改风格; - 多模态旁路(1.3.0+):纯文本主模型收到图片附件时,自动调用配置好的视觉模型转为文字描述——主对话保持低成本。
核心工具见 ImageGenerateTool.java,配置入口在 Image/index.vue。
🎵 音乐:一句话生成歌曲
音乐生成支持 Google Lyria 与 MiniMax Music,直接复用已配置的 LLM 密钥即可开启。实现在 MusicGenerateTool.java,配置页见 Music/index.vue。
🎬 视频:文生视频全覆盖
视频生成支持 6 个 Provider:DashScope 通义万相、智谱 CogVideoX、fal.ai(Kling / Runway / Luma)、快手可灵 Kling、Runway、MiniMax Hailuo。核心工具为 VideoGenerateTool.java,配置入口在 Video/index.vue。
🧊 3D 模型:文字描述变立体模型
3D 模型生成目前接入 腾讯混元 3D(hunyuan-3d),在 Model3D/index.vue 开启后,员工即可通过 Model3dGenerateTool.java 把文字描述渲染成 3D 资产。
📄 亮点:JVM 原生文档生成
这是 MateClaw 最有差异化的能力——4 个文档生成工具在 JVM 进程内把 Markdown 直接渲染成 Office 文件:
| 工具 | 产物 |
|---|---|
DocxRenderTool |
可编辑 .docx(报告、合同、简历) |
XlsxRenderTool |
.xlsx 表格 |
PptxRenderTool |
.pptx 幻灯片 |
PdfRenderTool |
.pdf 交付件 |
为什么是"JVM 原生"? 传统方案需要 fork 子进程、npm install(冷启动 3-5 分钟)、甚至安装 Office。MateClaw 基于 Apache POI 在进程内生成字节流,SVG 图片再由 Apache Batik 光栅化后嵌入,零外部依赖:
- DocxRenderTool.java——支持标题、加粗、列表、表格、图片(SVG 自动转 PNG)
- XlsxRenderTool.java
- PptxRenderTool.java
- PdfRenderTool.java
生成结果会进入 GeneratedFileCache,并在对话中返回一次性下载链接,点击即得文件。
🚀 快速上手步骤
- 启动:
mvn spring-boot:run(后端,默认 18088 端口) - 配置模型:
设置 → 模型,填入至少一家 Provider 的 API Key - 开启能力:
设置下分别进入 语音识别 / 语音合成 / 图片生成 / 音乐生成 / 视频生成 / 3D 模型,打开总开关并选择首选 Provider - 打开 Fallback:推荐开启故障转移,创作链路更稳
- 直接对话:在 Chat 中对员工说"把这份 Markdown 渲染成 Word 文档"或"生成一段 9:16 的短视频脚本配图",即可看到工具调用与成品文件
📌 能力总开关与 Provider 优先级全部集中在设置页,源码参考 mateclaw-ui/src/views/Settings/ 目录;中文功能说明见 README_zh.md。
小结
MateClaw 把多模态创作做成了平台级能力:语音、图片、音乐、视频、3D 五大生成方向统一配置、统一故障转移;JVM 原生文档生成则彻底摆脱了对 Node 子进程和 Office 的依赖。对于新手来说,只需在设置页打开开关、填好 Key,剩下的交给对话即可。
