Shrimply文生视频实操:Wan 2.2与MiniMax H3本地视频生成完整指南
Shrimply文生视频实操:Wan 2.2与MiniMax H3本地视频生成完整指南
Shrimply 是一款开源视频编辑器,它内置了文生视频能力:只需在本机运行 Shrimply Server,就能离线调用 Wan 2.2 TI2V 5B 和 MiniMax H3 模型,把一段文字提示(或首帧图片、参考素材)直接生成带可选音频的视频片段,并自动落到时间轴上继续剪辑。全程无需任何云端 API,数据不出本地。
一、准备工作:启动本地推理服务器
Shrimply 的生成能力由可选的 Compute Server(计算服务器)提供,它与编辑器解耦,本地运行即可:
- 安装 Shrimply 本体:Linux 用户可通过 Flatpak 安装,从源码构建则参考官方文档 docs/source/development.rst。
- 启动推理服务器(需要 Python 3.14 和
uv),仓库根目录执行:
make dev-server
等价于在 server 目录下运行 uv run --locked src/main.py(命令定义见 Makefile)。如果你更喜欢容器化,server 目录提供 Docker Compose,启用 GPU 并持久化已下载的模型:
cd server
docker compose up
- 服务器默认监听
http://127.0.0.1:8787(端口定义见 server/src/env.py)。首次生成时会自动下载模型,体积较大请耐心等待;模型下载完成后会在缓存目录留存,后续生成无需重复下载。
⚠️ 生成期间请保持服务器进程运行,任务结束前不要关闭它。
二、在编辑器中连接服务器
打开 Shrimply 后:
- 进入 Preferences → External(偏好设置 → 外部服务);
- 在 Inference Servers 一栏选择本地服务器(
http://127.0.0.1:8787); - 选择用于推理的设备(GPU)。
连接成功后,Shrimply 会自动展示该服务器支持的功能列表——支持的功能才会出现在编辑器菜单里,不支持的不会显示,界面保持简洁。
三、添加文生视频片段:三步上手
- 在视频轨道的 Add(添加)菜单 中新建一个 video-generation 轨道项;
- 在右侧检查器中选择模型,填写提示词与所需媒体;
- 点击 Generate 开始生成,生成完毕的片段会自动出现在时间轴上,可像普通剪辑一样拖拽、切割、加特效。
界面会显示实时进度,随时可以点 Cancel 取消本次生成(实现见 crates/ui/video-generation/video-generation-gtk/src/lib.rs)。
四、Wan 2.2 TI2V 5B:画质优先的本地文生视频
Wan 2.2 是目前本地部署中最受欢迎的开放文生视频模型之一。Shrimply 内置了 Wan 2.2 TI2V 5B(Diffusers 版本),支持两种工作流:
- Text to video:纯文字生成视频;
- Image to video:提供一张首帧图片,模型让画面"动起来"。
关键参数一览(定义见 server/src/api/video_generation/catalog.py):
| 参数 | 可选值 / 默认 | 说明 |
|---|---|---|
| Resolution | 1280×704(横版)/ 704×1280(竖版) | 横竖屏一键切换 |
| Scheduler steps | 默认 50(2–100) | 步数越高细节越好,耗时越长 |
| Guidance scale | 默认 5(1–10) | 越大越贴合提示词 |
| Seed | 默认 42 | 固定种子可复现结果 |
| Negative prompt | 已预置一段去瑕疵提示 | 抑制模糊、多余手指、过曝等常见问题 |
Wan 2.2 固定输出 121 帧、24 fps 的约 5 秒片段(帧率常量见 server/src/api/video_generation/wan/inference.py),不生成音频——需要配乐时可在 Shrimply 中另加音轨或启用其 TTS 功能。
Wan 2.2 实操小技巧
- 横版 1280×704 适合做封面和教程片头,竖版 704×1280 适合短视频平台;
- 首帧图尽量清晰、构图完整,模型会以它为基础演化画面;
- 想复现某次满意的结果?记下 Seed 值,下次填回去即可。
五、MiniMax H3:能生成"音画同步"视频的黑马
MiniMax H3 Base 是 Shrimply 中功能最强的生成模型,最大亮点是同时输出视频和音频(text-to-audio-video),一次生成就是带声音的完整片段。
三种工作流
| 工作流 | 输入 | 适用场景 |
|---|---|---|
| Text to audio-video | 提示词 | 纯文生视频 |
| First/last frame | 首帧图和/或尾帧图 | 精确控制画面起终点,做转场 |
| References | 最多 12 个有序参考(图≤9、视频≤3、音频≤3,且不能只有音频) | 让参考视频/音频的风格、音色"迁移"到新片段 |
关键参数
- 时长:5–15 秒(帧数按 17n+5 对齐,逻辑见 server/src/api/video_generation/minimax_h3/config.py);
- 分辨率:768×768 方形、960×544 横版、576×768 竖版,或自定义(宽高需为 32 的倍数,比例 1:4 到 4:1 之间);
- Quantization:
None (BF16)质量最佳;INT8 weight-only显存占用更低; - Memory mode:显存吃紧时选 Low VRAM,会把部分计算移入系统内存,速度变慢但能跑起来;
- Attention:自动模式会优先选用 Flash Attention 3 加速。
此外还有 MiniMax H3 Looping Sketch Anime 变体:加载了草图 LoRA,专门把草图/简笔画变成循环动画,适合做趣味动效。
⚖️ 许可注意:MiniMax H3 受社区许可协议约束,其适用地域不包括欧盟、英国、韩国和美国。下载前请务必阅读 docs/source/licenses.rst 中的说明。
六、模型怎么选?一张表看懂
| 需求 | 推荐模型 |
|---|---|
| 只要画面、追求开放权重 | Wan 2.2 TI2V 5B |
| 需要画面+声音一次出片 | MiniMax H3 Base |
| 精确控制首尾帧做转场 | MiniMax H3(fl2va) |
| 参考素材风格/音色迁移 | MiniMax H3(ref2va,最多 12 个参考) |
| 草图变动画 | MiniMax H3 Looping Sketch Anime |
选型逻辑简单:要声音选 MiniMax H3,只挑画面或地域受限就选 Wan 2.2。
七、常见问题速查
- 显存不够? MiniMax H3 切换到 INT8 量化 + Low VRAM;Wan 2.1 1.3B 是显存友好型备选。
- 第一次生成卡住? 正在下载模型,保持服务器运行即可;参考文档 docs/source/server/index.rst 与 docs/source/server/video-generation.rst。
- 提示词写多长? 提示词上限 16384 字符,够用得很。
- 上传素材太大? 单次请求的全部媒体合计不能超过 512 MiB(限制定义见 server/src/api/video_generation/requests.py)。
- 生成后怎么二次编辑? 片段自动进入时间轴,支持分割、调色、加字幕,导出为视频或 GIF。
总结
Shrimply 的本地视频生成把"文生视频"从云端 API 变成了编辑器里的一个普通轨道项:make dev-server 启动服务器 → 偏好设置里连接 127.0.0.1:8787 → 视频轨道添加 video-generation 项 → 选模型、填提示词、点 Generate。Wan 2.2 负责高质量画面,MiniMax H3 负责音画一体,两者都完全跑在本机。对于想在本地体验文生视频的创作者来说,这是一条零云依赖、可完全掌控的完整路线。
