imagenet-1k数据集结构全解:train/validation/test三个Split与294个Parquet分片详解
imagenet-1k数据集结构全解:train/validation/test三个Split与294个Parquet分片详解
imagenet-1k 数据集(ImageNet-1K,ILSVRC 2012)是图像分类领域最常用的基准数据集。它的数据集结构非常规整:全部数据存放在 data/ 目录,划分为 train / validation / test 三个 Split,由 336 个 Parquet 分片组成(其中 train 占 294 个),总计约 156 GB、143.1 万张图片。
本文面向新手,带你快速看懂:三大 Split 各含多少数据?分片命名规则是什么?为什么拆成这么多文件?标签如何对应 1000 个类别?读完即可上手加载。
📊 三大 Split 一览:train / validation / test
| Split | 用途 | Parquet 分片数 | 样本数 | 数据大小 |
|---|---|---|---|---|
train |
训练模型 | 294 | 1,281,167 | 136.42 GB |
validation |
训练过程中验证调参 | 14 | 50,000 | 6.23 GB |
test |
最终评测 | 28 | 100,000 | 12.65 GB |
| 合计 | — | 336 | 1,431,167 | 约 155.3 GB |
三者分工清晰:train 用于训练,validation 用于监控训练过程与调参,test 用于最终评测——且 test 集不公开标签,需提交结果到 ImageNet 官方评测服务器计分。
📦 Parquet 分片命名规则:train-00000-of-00294.parquet 怎么读
以 data/train-00000-of-00294.parquet 为例:
| 组成 | 含义 |
|---|---|
train |
所属 Split |
00000 |
分片序号(0 起始,5 位补零,便于排序) |
of-00294 |
该 Split 的分片总数 |
三个 Split 的文件模式分别为 train-*.parquet(00000~00293)、validation-*.parquet(00000~00013)、test-*.parquet(00000~00027)。
单个分片约 450~533 MB,内含数千张样本:
| Split | 每分片平均大小 | 每分片约含样本数 |
|---|---|---|
| train | 468 MB | ≈ 4,358 张 |
| validation / test | ≈ 458 / 462 MB | ≈ 3,572 张 |
🧩 为什么要把数据集拆成 336 个 Parquet 分片
- 按需加载:用 Parquet 列式格式打包图片 + 标签,训练时按分片流式读取,不必一次性载入 156 GB 全量数据;
- 并行方便:多进程 / 分布式训练可以让不同 worker 各领一段分片,互不重叠;
- 列读取高效:Parquet 支持按列读取,只取
label列做统计时几乎不用解码图片,速度极快。
🔑 小细节:仓库里的 .parquet 文件其实是 LFS 指针
如果你克隆后看到 .parquet 文件只有 134 字节,别慌——那是 Git LFS 指针文件,内容长这样(以 train 第一个分片为例):
version https://git-lfs.github.com/spec/v1
oid sha256:29a06e1c0c3c6570e65dff85ed58ead8ed3ecac352d9f1b5255c1080b599f7db
size 504978005
version:LFS 协议版本oid:真实文件内容的 SHA-256 哈希,可用于校验完整性size:真实数据大小(此分片约 481 MB)
在正确配置 Git LFS 的环境中 git lfs pull 后,指针会被替换为真实数据。
🖼️ 每条样本只有两个字段:image 与 label
每个 Parquet 文件中,一行就是一条样本,仅含两个字段:
image:图片本身,读取时自动解码为PIL.Image.Image对象(RGB);label:0~999 的整数类别标签;test 集的 label 全部为-1(官方不公开测试标签)。
⚡ 性能提示:官方推荐先取样本、再取
image列(如dataset[0]["image"]),避免一次性解码整个image列带来巨大开销。
🏷️ 1000 个类别的标签映射:从 synset id 到 0~999
类别编号由 synset id 排序后依次映射到 0~999:
n01440764→ 0:tench, Tinca tinca(丁鲑)n01443537→ 1:goldfish, Carassius auratus(金鱼)- …
n07565083→ 999:toilet tissue(卫生纸)
仓库提供了两份映射资料:
- classes.py:
IMAGENET2012_CLASSES有序字典,synset id → 类名,与label数字一一对应,方便自定义训练框架时对齐类别; - README.md:内含完整的 1000 类对照表(id / Class 两列)。
🚀 快速上手:加载 validation Split
该数据集托管在 Hugging Face(gated 仓库,需先点击 "Access repository" 同意 ImageNet 使用协议),加载方式:
from datasets import load_dataset
# 只加载 validation split,避免触发 156 GB 全量下载
ds = load_dataset("ILSVRC/imagenet-1k", split="validation")
print(ds.features["label"].int2str[23]) # -> vulture
sample = ds[0] # 先取样本
img, label = sample["image"], sample["label"] # 再解码图片
训练时也可以按分片为单位流式读取,进一步降低内存峰值。
💾 磁盘空间与下载大小建议
| 项目 | 大小 |
|---|---|
| 下载大小(Parquet 压缩态) | 约 155.5 GB |
| 解压后数据大小 | 约 156 GB |
| 建议预留磁盘 | ≥ 200 GB(含缓存与碎片空间) |
README 元数据中的 data_files 配置也印证了分片组织方式:
data_files:
- split: train
path: data/train-*
- split: validation
path: data/validation-*
- split: test
path: data/test-*
总结:imagenet-1k = 3 个 Split × 336 个 Parquet 分片 × 143.1 万张图片。记住 train-* / validation-* / test-* 三种文件模式、每分片约 450~533 MB、以及 test 集 label 为 -1 这三个要点,就能顺畅地开始你的第一个 ImageNet 分类任务了 🎉