imagenet-1k数据集结构全解:train/validation/test三个Split与294个Parquet分片详解

原创2026-10-18 19:35:341,890 阅读
文章标签:数据集计算机视觉人工智能

imagenet-1k数据集结构全解:train/validation/test三个Split与294个Parquet分片详解

imagenet-1k 数据集(ImageNet-1K,ILSVRC 2012)是图像分类领域最常用的基准数据集。它的数据集结构非常规整:全部数据存放在 data/ 目录,划分为 train / validation / test 三个 Split,由 336 个 Parquet 分片组成(其中 train 占 294 个),总计约 156 GB、143.1 万张图片。

本文面向新手,带你快速看懂:三大 Split 各含多少数据?分片命名规则是什么?为什么拆成这么多文件?标签如何对应 1000 个类别?读完即可上手加载。

📊 三大 Split 一览:train / validation / test

Split 用途 Parquet 分片数 样本数 数据大小
train 训练模型 294 1,281,167 136.42 GB
validation 训练过程中验证调参 14 50,000 6.23 GB
test 最终评测 28 100,000 12.65 GB
合计 — 336 1,431,167 约 155.3 GB

三者分工清晰:train 用于训练,validation 用于监控训练过程与调参,test 用于最终评测——且 test 集不公开标签,需提交结果到 ImageNet 官方评测服务器计分。

📦 Parquet 分片命名规则:train-00000-of-00294.parquet 怎么读

以 data/train-00000-of-00294.parquet 为例:

组成 含义
train 所属 Split
00000 分片序号(0 起始,5 位补零,便于排序)
of-00294 该 Split 的分片总数

三个 Split 的文件模式分别为 train-*.parquet(00000~00293)、validation-*.parquet(00000~00013)、test-*.parquet(00000~00027)。

单个分片约 450~533 MB,内含数千张样本:

Split 每分片平均大小 每分片约含样本数
train 468 MB ≈ 4,358 张
validation / test ≈ 458 / 462 MB ≈ 3,572 张

🧩 为什么要把数据集拆成 336 个 Parquet 分片

  1. 按需加载:用 Parquet 列式格式打包图片 + 标签,训练时按分片流式读取,不必一次性载入 156 GB 全量数据;
  2. 并行方便:多进程 / 分布式训练可以让不同 worker 各领一段分片,互不重叠;
  3. 列读取高效:Parquet 支持按列读取,只取 label 列做统计时几乎不用解码图片,速度极快。

🔑 小细节:仓库里的 .parquet 文件其实是 LFS 指针

如果你克隆后看到 .parquet 文件只有 134 字节,别慌——那是 Git LFS 指针文件,内容长这样(以 train 第一个分片为例):

version https://git-lfs.github.com/spec/v1
oid sha256:29a06e1c0c3c6570e65dff85ed58ead8ed3ecac352d9f1b5255c1080b599f7db
size 504978005
  • version:LFS 协议版本
  • oid:真实文件内容的 SHA-256 哈希,可用于校验完整性
  • size:真实数据大小(此分片约 481 MB)

在正确配置 Git LFS 的环境中 git lfs pull 后,指针会被替换为真实数据。

🖼️ 每条样本只有两个字段:image 与 label

每个 Parquet 文件中,一行就是一条样本,仅含两个字段:

  • image:图片本身,读取时自动解码为 PIL.Image.Image 对象(RGB);
  • label:0~999 的整数类别标签;test 集的 label 全部为 -1(官方不公开测试标签)。

⚡ 性能提示:官方推荐先取样本、再取 image 列(如 dataset[0]["image"]),避免一次性解码整个 image 列带来巨大开销。

🏷️ 1000 个类别的标签映射:从 synset id 到 0~999

类别编号由 synset id 排序后依次映射到 0~999:

  • n01440764 → 0:tench, Tinca tinca(丁鲑)
  • n01443537 → 1:goldfish, Carassius auratus(金鱼)
  • …
  • n07565083 → 999:toilet tissue(卫生纸)

仓库提供了两份映射资料:

  • classes.py:IMAGENET2012_CLASSES 有序字典,synset id → 类名,与 label 数字一一对应,方便自定义训练框架时对齐类别;
  • README.md:内含完整的 1000 类对照表(id / Class 两列)。

🚀 快速上手:加载 validation Split

该数据集托管在 Hugging Face(gated 仓库,需先点击 "Access repository" 同意 ImageNet 使用协议),加载方式:

from datasets import load_dataset

# 只加载 validation split,避免触发 156 GB 全量下载
ds = load_dataset("ILSVRC/imagenet-1k", split="validation")

print(ds.features["label"].int2str[23])  # -> vulture
sample = ds[0]                            # 先取样本
img, label = sample["image"], sample["label"]  # 再解码图片

训练时也可以按分片为单位流式读取,进一步降低内存峰值。

💾 磁盘空间与下载大小建议

项目 大小
下载大小(Parquet 压缩态) 约 155.5 GB
解压后数据大小 约 156 GB
建议预留磁盘 ≥ 200 GB(含缓存与碎片空间)

README 元数据中的 data_files 配置也印证了分片组织方式:

data_files:
  - split: train
    path: data/train-*
  - split: validation
    path: data/validation-*
  - split: test
    path: data/test-*

总结:imagenet-1k = 3 个 Split × 336 个 Parquet 分片 × 143.1 万张图片。记住 train-* / validation-* / test-* 三种文件模式、每分片约 450~533 MB、以及 test 集 label 为 -1 这三个要点,就能顺畅地开始你的第一个 ImageNet 分类任务了 🎉

登录后查看全文
imagenet-1k