用MMLottieBench评测矢量动画生成模型:OmniLottie 900样本标准化评测基准完全指南

原创2026-10-27 22:58:231,981 阅读

用MMLottieBench评测矢量动画生成模型:OmniLottie 900样本标准化评测基准完全指南

MMLottieBench 是 OmniLottie 多模态矢量动画生成模型官方发布的标准化评测基准,共包含 900 个评测样本,覆盖文本、文本+图像、视频三类任务,可帮助你在统一协议下基准测试 Lottie 矢量动画生成能力。本文将带你完成从数据集下载、一键跑评测到结果解读的完整流程。

OmniLottie 矢量动画生成全流程演示:从 Lottie Tokens 到 JSON 再到动画可视化

一、MMLottieBench 是什么:900 样本的评测结构一览

MMLottieBench 旨在回答一个核心问题:如何公平地评测不同的 Lottie 生成模型? 它把评测数据集拆分为 2 个 split,每个 split 又均匀覆盖 3 种任务类型:

维度 说明
样本总量 900 个
real split 450 个真实世界 Lottie 动画
synthetic split 450 个合成样本
任务类型 每个 split 各含 150 个样本,共 3 类

三种任务类型与 OmniLottie 支持的三大输入模态一一对应:

  • Text-to-Lottie(参数值 text2lottie):纯文本描述生成动画
  • Text-Image-to-Lottie(参数值 text_image2lottie):图像 + 文本引导生成
  • Video-to-Lottie(参数值 video2lottie):视频转矢量动画

仓库内 example/demo.txt 提供了 38 条示例提示词,可以帮你快速了解 Text-to-Lottie 任务的 prompt 风格,例如"a red ball appearing, bouncing up and down, then fading out, repeating seamlessly"。

二、MMLottieBench 数据集下载:3 种方式任选

评测前只需准备两样东西:模型权重(约 8.46 GB)和 MMLottieBench 数据集。仓库克隆与依赖安装如下(Python 3.10 环境):

git clone https://gitcode.com/gh_mirrors/om/OmniLottie
cd OmniLottie
conda create -n omnilottie python=3.10 && conda activate omnilottie
pip install -r requirements.txt

数据集下载推荐使用官方脚本 download_mmlottie_bench.py:

python download_mmlottie_bench.py --output_dir ./mmlottie_bench

另外两种方式:

# 方式 2:Hugging Face CLI
huggingface-cli download OmniLottie/MMLottieBench --repo-type dataset --local-dir ./mmlottie_bench

# 方式 3:Python 代码直接加载
from datasets import load_dataset
dataset = load_dataset("OmniLottie/MMLottieBench")

💡 数据以 Apache Arrow 格式存储,图像与视频已内嵌其中,无需手动解压,脚本运行完即可直接使用。

OmniLottie 生成的 Lottie 矢量动画示例效果演示

三、一键跑通评测:inference.py 评测命令详解

下载完成后,用 inference.py 直接指定 benchmark 目录即可启动标准化评测(核心逻辑见 run_mmlottie_bench_inference()):

# real split(450 个真实样本,全部任务)
python inference.py \
    --sketch_weight /PATH/TO/OmniLottie \
    --mmlottie_bench_dir ./mmlottie_bench \
    --split real \
    --output_dir ./benchmark_results_real

常用参数速查:

参数 作用 常用值
--split 选择评测 split real / synthetic
--mmlottie_task 只评测指定任务 text2lottie、text_image2lottie、video2lottie
--max_samples 限制样本数(冒烟测试) 如 10、50
--shuffle 随机打乱后取样 与 --max_samples 搭配
--task_filter 按模态粗筛 text / image / video

⏱️ 耗时提示:OmniLottie 推理约占用 15.2G 显存,256 个 token 约需 8.34 秒。完整跑 450 个样本耗时较长,建议先用小规模任务验证环境:

python inference.py \
    --sketch_weight /PATH/TO/OmniLottie \
    --mmlottie_bench_dir ./mmlottie_bench \
    --split real \
    --max_samples 10 \
    --shuffle \
    --output_dir ./benchmark_smoke_test

OmniLottie 文本到 Lottie 矢量动画生成评测示例动画

四、按任务类型拆分评测:定位模型的强项与短板

如果只想专项测试某一模态,加上 --mmlottie_task 即可,例如只测文本到 Lottie 的 150 个样本:

python inference.py \
    --sketch_weight /PATH/TO/OmniLottie \
    --mmlottie_bench_dir ./mmlottie_bench \
    --split real \
    --mmlottie_task text2lottie \
    --output_dir ./benchmark_text2lottie

这样可以把 900 个样本拆成 6 组(2 split × 3 任务)分别打分,横向对比时能清晰看出模型在"纯文本理解""图文对齐""视频重建"上的差异,这也是论文与社区对比 baseline 模型时的标准做法。

OmniLottie 多模态输入生成 Lottie 动画的效果演示

五、结果解读:输出目录结构与成功率统计

评测产物会统一输出到 {output_dir}/mmlottie_bench_{split}/ 下,每个样本生成一个以样本 id 命名的 Lottie JSON 文件,可直接在 Lottie 播放器中预览。

运行结束后,终端会自动打印按任务类型汇总的统计:

Benchmark Inference Complete!
Text-to-Lottie:
  Success: 148/150 (98.7%)
  Failed: 2/150
...
Output directory: ./benchmark_results_real/mmlottie_bench_real

解读建议:

  1. 成功率:先确认生成 JSON 的稳定性(是否出现解析失败)
  2. 逐样本人工抽检:对照原动画检查形变、帧率、循环平滑度
  3. 跨模型对比:不同模型必须在同一 --split 与同一任务子集上跑,分数才具备可比性

六、常见问题 FAQ

  • 显存不够 15.2G 怎么办? 可用 --max_samples 减少样本量分批跑,或换用更长上下文截断参数 --maxlen 控制输出 token 数
  • 本地加载数据集失败? inference.py 会先尝试本地 load_from_disk,失败后自动回退到在线下载;网络不佳时建议先用 download_mmlottie_bench.py 完整落盘
  • real 与 synthetic 该用哪个? 论文主结果两者都会报告;快速验证推荐 real(更贴近真实 Lottie 生态),泛化性对比推荐 synthetic

按照以上 5 步,你就可以把 MMLottieBench 变成自己的常态化回归测试:每次模型迭代后跑一遍,即可量化追踪矢量动画生成能力的新变化 🚀

登录后查看全文
OmniLottie