用MMLottieBench评测矢量动画生成模型:OmniLottie 900样本标准化评测基准完全指南
用MMLottieBench评测矢量动画生成模型:OmniLottie 900样本标准化评测基准完全指南
MMLottieBench 是 OmniLottie 多模态矢量动画生成模型官方发布的标准化评测基准,共包含 900 个评测样本,覆盖文本、文本+图像、视频三类任务,可帮助你在统一协议下基准测试 Lottie 矢量动画生成能力。本文将带你完成从数据集下载、一键跑评测到结果解读的完整流程。
一、MMLottieBench 是什么:900 样本的评测结构一览
MMLottieBench 旨在回答一个核心问题:如何公平地评测不同的 Lottie 生成模型? 它把评测数据集拆分为 2 个 split,每个 split 又均匀覆盖 3 种任务类型:
| 维度 | 说明 |
|---|---|
| 样本总量 | 900 个 |
real split |
450 个真实世界 Lottie 动画 |
synthetic split |
450 个合成样本 |
| 任务类型 | 每个 split 各含 150 个样本,共 3 类 |
三种任务类型与 OmniLottie 支持的三大输入模态一一对应:
- Text-to-Lottie(参数值
text2lottie):纯文本描述生成动画 - Text-Image-to-Lottie(参数值
text_image2lottie):图像 + 文本引导生成 - Video-to-Lottie(参数值
video2lottie):视频转矢量动画
仓库内 example/demo.txt 提供了 38 条示例提示词,可以帮你快速了解 Text-to-Lottie 任务的 prompt 风格,例如"a red ball appearing, bouncing up and down, then fading out, repeating seamlessly"。
二、MMLottieBench 数据集下载:3 种方式任选
评测前只需准备两样东西:模型权重(约 8.46 GB)和 MMLottieBench 数据集。仓库克隆与依赖安装如下(Python 3.10 环境):
git clone https://gitcode.com/gh_mirrors/om/OmniLottie
cd OmniLottie
conda create -n omnilottie python=3.10 && conda activate omnilottie
pip install -r requirements.txt
数据集下载推荐使用官方脚本 download_mmlottie_bench.py:
python download_mmlottie_bench.py --output_dir ./mmlottie_bench
另外两种方式:
# 方式 2:Hugging Face CLI
huggingface-cli download OmniLottie/MMLottieBench --repo-type dataset --local-dir ./mmlottie_bench
# 方式 3:Python 代码直接加载
from datasets import load_dataset
dataset = load_dataset("OmniLottie/MMLottieBench")
💡 数据以 Apache Arrow 格式存储,图像与视频已内嵌其中,无需手动解压,脚本运行完即可直接使用。
三、一键跑通评测:inference.py 评测命令详解
下载完成后,用 inference.py 直接指定 benchmark 目录即可启动标准化评测(核心逻辑见 run_mmlottie_bench_inference()):
# real split(450 个真实样本,全部任务)
python inference.py \
--sketch_weight /PATH/TO/OmniLottie \
--mmlottie_bench_dir ./mmlottie_bench \
--split real \
--output_dir ./benchmark_results_real
常用参数速查:
| 参数 | 作用 | 常用值 |
|---|---|---|
--split |
选择评测 split | real / synthetic |
--mmlottie_task |
只评测指定任务 | text2lottie、text_image2lottie、video2lottie |
--max_samples |
限制样本数(冒烟测试) | 如 10、50 |
--shuffle |
随机打乱后取样 | 与 --max_samples 搭配 |
--task_filter |
按模态粗筛 | text / image / video |
⏱️ 耗时提示:OmniLottie 推理约占用 15.2G 显存,256 个 token 约需 8.34 秒。完整跑 450 个样本耗时较长,建议先用小规模任务验证环境:
python inference.py \
--sketch_weight /PATH/TO/OmniLottie \
--mmlottie_bench_dir ./mmlottie_bench \
--split real \
--max_samples 10 \
--shuffle \
--output_dir ./benchmark_smoke_test
四、按任务类型拆分评测:定位模型的强项与短板
如果只想专项测试某一模态,加上 --mmlottie_task 即可,例如只测文本到 Lottie 的 150 个样本:
python inference.py \
--sketch_weight /PATH/TO/OmniLottie \
--mmlottie_bench_dir ./mmlottie_bench \
--split real \
--mmlottie_task text2lottie \
--output_dir ./benchmark_text2lottie
这样可以把 900 个样本拆成 6 组(2 split × 3 任务)分别打分,横向对比时能清晰看出模型在"纯文本理解""图文对齐""视频重建"上的差异,这也是论文与社区对比 baseline 模型时的标准做法。
五、结果解读:输出目录结构与成功率统计
评测产物会统一输出到 {output_dir}/mmlottie_bench_{split}/ 下,每个样本生成一个以样本 id 命名的 Lottie JSON 文件,可直接在 Lottie 播放器中预览。
运行结束后,终端会自动打印按任务类型汇总的统计:
Benchmark Inference Complete!
Text-to-Lottie:
Success: 148/150 (98.7%)
Failed: 2/150
...
Output directory: ./benchmark_results_real/mmlottie_bench_real
解读建议:
- 成功率:先确认生成 JSON 的稳定性(是否出现解析失败)
- 逐样本人工抽检:对照原动画检查形变、帧率、循环平滑度
- 跨模型对比:不同模型必须在同一
--split与同一任务子集上跑,分数才具备可比性
六、常见问题 FAQ
- 显存不够 15.2G 怎么办? 可用
--max_samples减少样本量分批跑,或换用更长上下文截断参数--maxlen控制输出 token 数 - 本地加载数据集失败? inference.py 会先尝试本地
load_from_disk,失败后自动回退到在线下载;网络不佳时建议先用 download_mmlottie_bench.py 完整落盘 - real 与 synthetic 该用哪个? 论文主结果两者都会报告;快速验证推荐
real(更贴近真实 Lottie 生态),泛化性对比推荐synthetic
按照以上 5 步,你就可以把 MMLottieBench 变成自己的常态化回归测试:每次模型迭代后跑一遍,即可量化追踪矢量动画生成能力的新变化 🚀



