如何快速上手梵文数据集Vāgartha:从load_dataset到读出第一句Shloka的3步教程
如何快速上手梵文数据集Vāgartha:从load_dataset到读出第一句Shloka的3步教程
Vāgartha 梵文数据集是一个包含 **217,959 条梵文诗句(Shloka)**的开源语料库,每句诗都配有一份结构化的英文详解。只需三步,你就能用 Hugging Face datasets 库的 load_dataset 加载它,并读出第一句 Shloka 及其完整解释。
📦 一步认识 Vāgartha:3000年梵文文学的结构化语料
Vāgartha 的名字来自梵语 vāk(词)与 artha(义)——"词与义不可分离"。数据集覆盖约三千年的梵文文献:《摩诃婆罗多》(Mahābhārata)、《罗摩衍那》(Rāmāyaṇa)、18 部《大往世书》(Mahāpurāṇas)、吠陀(Vedas)、奥义书(Upaniṣads)、语法哲学(Darśanas)、《阿育吠陀》(Āyurveda)以及佛教、耆那教文献等。
| 指标 | 数值 |
|---|---|
| 行数 | 217,959 |
| 字段 | source / shloka / explanation |
| 存储 | Parquet,3 个分片,共约 562 MB |
| 语言 | 梵文(天城文)+ 英文 |
| 许可 | CC BY 4.0 |
数据集以 3 个 Parquet 分片存放,仓库中可直接看到文件结构:
- data/train-00000-of-00003.parquet
- data/train-00001-of-00003.parquet
- data/train-00002-of-00003.parquet
💡 数据分布不均:《摩诃婆罗多》占 33.7%、往世书占 32.5%,两者合计约三分之二。若用于训练,请相应做加权或子采样。
🚀 第一步:用 load_dataset 一行代码加载数据集
安装 datasets 库后,加载 Vāgartha 只需一行:
from datasets import load_dataset
ds = load_dataset("sarvamai/vagartha", split="train")
磁盘不够?用 streaming 流式读取
完整数据约 562 MB。如果不想全部下载到本地,可以开启流式读取,边读边用:
ds = load_dataset("sarvamai/vagartha", split="train", streaming=True)
for row in ds.take(5):
print(row["source"], row["shloka"])
🔍 第二步:读懂三个核心字段
| 字段 | 类型 | 说明 |
|---|---|---|
source |
string | 出处:以 / 分隔的分级分类路径,或独立文本名 |
shloka |
string | 梵文诗句本身(天城文,平均 91 字符) |
explanation |
string | 结构化英文详解(Markdown,平均约 4,041 字符) |
explanation 内部始终保持三段式结构,非常适合做检索增强(RAG)或教学:
- 逐词翻译——每个梵文词的 IAST 转写、释义、形态分析(复合词拆解、格、词根)
- 精确语义翻译——一句贴近原文的直译
- 扩展翻译——把诗句放回原文语境,展开意象、诗学与教义背景
按来源过滤:前缀匹配就够了
371 个来源是 / 分隔的分级路径,例如:
vedas/yajur-veda/krishna-yajur-veda/taittiriya/vol-iii/part-i
puranas-18-puranas-mahapurana/garud-puran/garuda-vol-2
因此按类别筛数据只需前缀匹配:
puranas = ds.filter(lambda r: r["source"].startswith("puranas-18-puranas-mahapurana/"))
ayurveda = ds.filter(lambda r: r["source"].startswith("upaveda/ayurveda/"))
📖 第三步:读出第一句 Shloka 及其详解
print(ds[0]["shloka"]) # 第一句梵文诗句
print(ds[0]["explanation"]) # 对应的三段式详解
README 中给了一个典型样本(出自 mahabharata):
तथैव स गिरिभूर्यः प्रपुष्पितलताद्रुमः।
सपक्षिगणसंघुष्टः सश्वापदसरीसृपः॥
其 explanation 会先逐词拆解 tathaiva("正是如此",由 tathā + eva 复合而成)、giribhūryaḥ("大山之主",giri + bhūryaḥ),再给出整句直译:"那座大山藤蔓树木繁花盛开,百鸟齐鸣,野兽蛇虫栖居其中",最后展开其中连缀式长复合形容词(Bahuvrīhi)如何层层叠加、调动多种感官来描绘山景。
⚠️ 上手前必读:局限性说明
训练或引用前请留意(详见 README.md 的 Limitations 一节):
- 解释由模型生成、未经人工校勘——流畅但存在误引、虚构细节等问题,不要当作权威注疏或评测"标准答案"
source标签只是强提示——个别诗句的归属可能有误- 已去重——真实文献中反复出现的固定句、叠句被低估了
- 解释仅英文——无印地语等其他语言版本
- 无诗句级引用——没有如
BhG 2.47这样的规范坐标,行序也不保证是阅读顺序
📁 相关文件与引用
@misc{vagartha2026,
title = {Vāgartha: Sanskrit Verses with Structured Explanations},
author = {Sarvam AI},
year = {2026}
}
🎉 三步走完,你已从梵文数据集 Vāgartha 中读出了第一句 Shloka。无论是做梵文翻译、检索、还是文学研究,这份词义并陈的语料都会是好起点。