4大质量门:PhysicalAI-Human-1M-100K如何保证10万小时演示数据的可靠性?
4大质量门:PhysicalAI-Human-1M-100K如何保证10万小时演示数据的可靠性?
PhysicalAI-Human-1M-100K 是 NVIDIA 开源的第一人称(egocentric)人类演示数据集,包含 10 万小时的自中心视频、密集语言标注与头/手 3D 姿态,用于训练物理 AI 与具身智能模型。数据量如此庞大,质量如何保证?答案是:四大质量门(Quality Gates)——人类审核与量化检查结合,从标注、任务、多样性到 3D 跟踪层层把关,近一半提交时数在审核中被拒收。
数据集全景:10万小时由多少片段组成?
开源子集包含 3,405,573 条 episodes(演示片段),覆盖 406,815 个任务簇、81,557 个场景、41,288 名采集者,横跨 9 类真实环境——从家庭、厨房到工厂与工作室。每个片段时长通常 5–10 分钟,是"一个熟练演示者完成一件有经济价值的实际工作"的原子单元。
完整说明见 DATASET_CARD.md。
质量门 1:密集语言标注必须精确
📝 语言标注是数据集的"骨架",分为两级:
- T1(任务级):1–2 句话概括片段的主要目标、关键动作与关键物体;
- T2(子任务级):把整个片段切成 1–10 秒的连续时间段,每段标注手部左右侧、精确动词与无歧义物体,且每段可独立理解。
质量门要求语言与时间戳对齐准确。每条子任务都带 timestamp_start / timestamp_end 边界,字段定义可在 SCHEMA.md 与机器可读的 data/schema.json 中核对。
质量门 2:任务本身要有用、可观察
✅ "有用、清晰可见的交互"是硬指标。采集时的视频要求包括:
- 至少 30 FPS / 480p,不改变速度;
- 手与任务相关物体清晰可见、对焦;
- 至少一只手在画面中停留 ≥95% 的片段时长。
采集采用多种相机构型(单目/立体头视 + 可选腕部相机),详见 figures/capture_configurations.png 所示的采集配置分布。不满足可见性要求的片段无法通过此门。
质量门 3:任务、场景、环境与采集者都要多样
🌍 多样性在 4 个层级被检查:任务级、场景级、采集者级、环境级。这防止数据集被少数重复场景或少数人"刷量"稀释:
9 类环境的占比分布则见 figures/environment_distribution.png。野外采集(in-the-wild)捕捉真实家庭与 workplaces 的变体,工作室采集则让装配、包装等目标技能可重复。
质量门 4:3D 跟踪要对齐、一致、平滑
🦾 姿态标注包含 6 自由度头相机位姿与每手 21 个关键点(含跟踪掩码与置信度)。量化检查覆盖三点:
- 对齐(alignment):手/头轨迹与视频内容一致;
- 骨长一致性(bone-length consistency):关节间距离符合人体结构;
- 运动平滑性(motion smoothness):无跳变与抖动。
样本数据中还明确记录了"不臆造任何缺失位姿值"的原则,见 samples/lerobot/stereo_repair/SAMPLE_NOTES.json。
审核不是形式:25 周生产审计记录
以上四道门由人工审核 + 量化检查共同执行,并留下完整审计轨迹。生产环境 T1 审计历史显示:
25 个交付周 · 561K 小时被接受 · 461K 小时提交被整体拒收
近半数的提交时数被拒,正是质量门生效的直接证据。
拿到数据后,如何自行核验可靠性?
🔍 下载后有三步自检:
| 步骤 | 做法 | 相关文件 |
|---|---|---|
| 完整性 | 校验 SHA-256 哈希 | SHA256SUMS.txt |
| 结构 | 按 LeRobot v3.0 目录核对元数据 | SCHEMA.md |
| 样本 | 用完整示例片段验证读取流程 | samples/lerobot/stereo_repair/ |
例如立体维修示例片段包含全部交付相机流、帧表、语言字典、位姿与相机标定,并附带 meta/stats.json 的逐特征统计,方便确认数据分布与文档一致。
小结:PhysicalAI-Human-1M-100K 的可靠性不靠承诺,而靠四道质量门 + 可追溯的审计记录 + 开放可核验的样本数据。CC BY 4.0 许可下,无论是商业还是研究用途,这套 10 万小时的第一人称演示数据都是当前规模最大、质量约束最完整的开源 egocentric 数据集之一。



