InWorld是什么?开源交互式AI世界模型完整概览:一句话动作就能拍成带声音的视频
InWorld是什么?开源交互式AI世界模型完整概览:一句话动作就能拍成带声音的视频
InWorld(Murea-InWorld)是一款开源的交互式 AI 世界模型:你用一句话描述角色要做什么,它就把这个动作拍成一段音画同步的生成视频——带台词、带环境声,还能把每一次行动接成一段连续不跑戏的故事。它由两部分组成:跑在 GPU 上的视频生成推理服务 Murea-Fast,和负责"导演剧情"的视频 Agent Murea-Mind。
两个核心组件:Murea-Fast 负责生成,Murea-Mind 负责剧情
整个系统可以用一句话概括:你说做什么,Murea-Mind 负责规划,Murea-Fast 负责拍出来。
| 组件 | 角色 | 关键点 |
|---|---|---|
| Murea-Fast | 视频生成推理服务 | 文本 + 多张参考图 → 1280×704、24 fps 带同步音频的视频;8 步蒸馏采样,出片快 |
| Murea-Mind | 世界 Agent + 网页应用 | 维护角色、地点、任务等世界状态,把每个动作规划、检查、拍成视频,再对照真实画面反思修正 |
两者通过标准 HTTP API 通信(见 inference/docs/api_zh.md),所以视频服务可以跑在另一台 GPU 机器上,甚至通过 SSH 隧道访问。
Murea-Fast:多张参考图,一句提示词,拍出带声音的片段
Murea-Fast 的玩法是"全参考生成":把人物、物件、地点按顺序作为参考图传入,在提示词里引用它们,就能生成人物长相、道具外观、场景氛围都对得上的片段,台词和环境音同步生成。下图就是用"染坊主人、猫、蓝布、染缸庭院"四张参考图生成的视频画面:
它还有一个很实用的能力——续写(Continuation):从上一段视频的末尾 17 帧接着生成,人物和场景保持不变,动作自然延续。详见 inference/README_zh.md。
Murea-Mind:用"图片"记住世界的视频 Agent
Murea-Mind 的每个角色、物件和地点都是一张参考图 + 一段锁定描述。剧情再次回到那间客栈时,Agent 直接把客栈的图发给视频模型,而不是指望语言模型"记得它长什么样"——所以故事从第一段到第一百段,人物和场景都不会变样。
它每一拍都走同一个固定、可追踪的循环,每一步都能在网页的 Agent 面板里实时看到:
- 感知:读取世界快照和上一段视频的最后几帧
- 规划:导演(语言模型)决定发生什么、谁出镜、台词和镜头
- 检查:确定性规则校验动作计划和物理关系,不过就交回重写
- 行动:布景选角、补齐缺失的参考图、调用 Murea-Fast 拍摄
- 提交:把这一拍挂到剧情树上,更新世界状态
- 反思:播放后由评审对照真实画面,确认真实发生了什么
下面这段画面就来自一个多轮连续的故事:蒸汽朋克飞艇的机库中,第一轮的指令是"登机",后续每一轮都接着上一轮继续演:
四种玩法:从单人刷剧情到多人联机
- 🖼️ 用参考图拍一场戏:两个角色 + 一个地点 + 一句提示词,直接出带台词的片段(Murea-Fast 命令行即可)
- 🔄 接着拍:从最后几帧续写,让动作继续(Murea-Fast
continue命令) - 🎭 玩一个故事:浏览器里输入一个动作,看它发生,再从给出的三个选项里选下一步(Murea-Mind)
- 👥 和朋友一起玩:2–4 位玩家(真人或 AI 队友)各带一个角色进同一个房间,每轮所有人的动作拍成一段共享视频
多人联机(Co-op)是它最出圈的模式之一:每个玩家的动作绑定自己的角色,系统把整轮行动渲染在同一镜头下——比如下图就是两位玩家的角色在宝藏洞穴中面对巨龙的共享片段:
双人模式的完整玩法和设计说明见 agent/docs/coop_zh.md,房间代码位于 agent/murea_agent/coop/。
跑起来要多少显卡?性能一览
Murea-Fast 是 LTX-2.5 的 8 步蒸馏衍生模型,速度是它的核心卖点:
| 硬件 | 表现 |
|---|---|
| 单张 NVIDIA H20 | 5 秒片段约 44–101 秒(单卡模式自动锁定 5 秒) |
| 4 张 H20(序列并行) | 5 秒片段约 17 秒;单段最长 20 秒 |
| NVIDIA RTX PRO 6000 Blackwell | 蒸馏版 5.04 秒 720P 视频约 3.6 秒,快于实时 |
显存方面:4 卡生成 10 秒及以上片段时每卡峰值约 80–112 GiB,96 GB 的卡建议把单段限制在 10 秒以内。更多数据见 inference/docs/performance_zh.md。
三步快速上手 InWorld
第 1 步:在 GPU 机器上启动 Murea-Fast(按 inference/docs/deployment_zh.md 装好环境和 LTX-2.5 基础组件,填好 inference/configs/single-gpu.json 里的路径):
cd inference
bash scripts/murea-fast prepare --config configs/single-gpu.json
bash scripts/murea-fast start --config configs/single-gpu.json
curl --fail http://127.0.0.1:30260/health
第 2 步:在任意机器上运行 Murea-Mind(需要 Python 3.12、uv 和一个文字/出图用的 API key,如 Gemini):
git clone https://gitcode.com/gh_mirrors/in/InWorld Murea-InWorld && cd Murea-InWorld/agent
cp .env.example .env # 填 GEMINI_API_KEY 和 MUREA_URL=http://<GPU主机>:30260
./run.sh # 然后打开 http://127.0.0.1:8080
第 3 步:开始玩。 还没有世界时,直接在主页输入一句想法,例如"去冰塔峰之龙的世界探险",Agent 会自动补全世界观、玩家身份和开场,然后开始拍第一段。也可以换用 OpenAI 兼容接口或阿里云百炼,复制 agent/config.example.yaml 为 config.yaml 修改即可;想双人联机,把 mode: single 改成 mode: coop 重启。
⚠️ 安全提示:推理服务和 Agent 默认都不带鉴权,部署到共享网络前请先阅读 SECURITY_zh.md。
仓库结构与文档导航
| 想了解 | 从这里看 |
|---|---|
| 项目总览与快速上手 | README_zh.md |
| Murea-Fast 部署、API、性能 | inference/docs/deployment_zh.md、inference/docs/api_zh.md、inference/docs/performance_zh.md |
| Murea-Mind 玩法与配置 | agent/README_zh.md |
| 双人联机模式设计 | agent/docs/coop_zh.md |
| Agent 本体源码 | agent/murea_agent/(director/ 导演、guards/ 规则检查、memory/ 世界记忆、critic.py 评审) |
| 生成模型技术细节 | paper/InWorld-technical-report.pdf |
基准成绩:和商用系统同台比
技术报告对两个生成配置做了互补评测(完整报告见 paper/InWorld-technical-report.pdf):
- Murea-Pro:WBench Full-289 多轮交互基准 Overall 81.13,在参评系统中排名第一
- Murea-Fast:OpenS2V-Eval Total 64.98、OS2V-Pro 综合 69.9(覆盖参考保真度、属性绑定、渲染质量与音频)
两者在各自基准上都超过大多数参评的商业系统,这也是这套开源方案值得关注的底气所在。
总结:谁适合玩 InWorld
- 想试"文字驱动剧情"的完整闭环:装好 Murea-Mind 后,一句话就能开一局,网页里能看到 Agent 每一步的决策轨迹
- 想在自己的项目里接视频生成:直接用 Murea-Fast 的 HTTP API,参考图续写、多参考图绑定都是现成的
- 想和朋友一起玩:Co-op 房间支持 2–4 人 + AI 队友,每轮一段共享视频,是最直观的"多人 AI 世界"体验
InWorld 以 Apache 2.0 开源(模型权重另受 LTX-2.x 社区协议约束,来源说明见 inference/docs/provenance_zh.md),中英文文档齐全,是目前少有的把"世界 Agent + 快速视听生成"完整开源的项目。如果你正关注交互式世界模型或 AI 视频生成方向,这套代码和文档值得完整读一遍。





