Llama-3-Kimodo-GGML MANIFEST.json深度解读:精确溯源source_revisions与SHA-256完整性校验指南
Llama-3-Kimodo-GGML MANIFEST.json深度解读:精确溯源source_revisions与SHA-256完整性校验指南
Llama-3-Kimodo-GGML 是 Kimodo 使用的原生 GGML/GGUF 文本编码器(LLM2Vec)模型仓库,内置 6 种量化变体与共享分词器。它的 MANIFEST.json 记录了每个发布文件的精确大小、SHA-256 校验值,以及上游来源仓库的具体 commit 号。对新手而言,这份清单是"确认模型没下错、没损坏、来路清白"的唯一权威依据。本文用一份清单讲透 source_revisions 溯源字段与 SHA-256 完整性校验的完整用法。
一、MANIFEST.json 是什么?先看懂 6 个顶层字段
打开 MANIFEST.json,整个文件只有 74 行,结构非常扁平。先看顶层字段:
| 字段 | 取值示例 | 作用 |
|---|---|---|
format |
kimodo-gguf-manifest-v1 |
清单格式版本号,用于程序识别 |
component |
text |
该仓库提供的组件类型(文本编码器) |
repository |
LocalAI-io/Llama-3-Kimodo-GGML |
仓库标识,确认来源归属 |
default_variant |
q8_0 |
默认推荐的量化变体 |
files |
文件数组 | 每个文件的路径、字节数、SHA-256 |
source_revisions |
上游 commit 映射 | 精确记录上游来源的 commit |
variants |
变体映射 | 量化变体 → 权重文件 + 分词器 |
其中 files 数组共 7 个条目:1 个共享分词器 tokenizer.gguf(约 7.3 MB)+ 6 个权重文件(BF16 约 15.2 GB 到 Q4_K 约 4.4 GB 不等),与 README.md 中的变体大小表一一对应。
💡 新手提示:
default_variant是q8_0,官方下载脚本默认就是拉取 Q8_0 变体。如果你看到本地是别的量化版本,说明是显式指定过参数,并非下载出错。
二、source_revisions:精确到 commit 的模型溯源
source_revisions 是整份清单里最有"含金量"的字段,它把本仓库的每一个上游依赖都钉死在具体的 commit 上:
"source_revisions": {
"McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp": "31474e395ada192e8ed1586db6be79fb3b70c9c0",
"McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp-supervised": "baa8ebf04a1c2500e61288e7dad65e8ae42601a7",
"meta-llama/Meta-Llama-3-8B-Instruct": "8afb486c1db24fe5011ec46dfbe5b5dccdb575c2"
}
三个来源分别对应:
- 基础底座:
meta-llama/Meta-Llama-3-8B-Instruct——本模型转换自 Meta Llama 3 8B Instruct(对应 LICENSE-META-LLAMA-3.txt 与 NOTICE 中的许可证声明); - MNTP 适配器:McGill-NLP 的 LLM2Vec MNTP 编码器(MIT 许可);
- Supervised 适配器:同系列的监督微调版本。
为什么 commit 级溯源很重要
- 可复现:拿到 40 位 commit 哈希,任何人都能在完全相同的上游代码/权重上重建这个转换结果;
- 可审计:若上游仓库更新了 HEAD,清单仍能告诉你当初到底用的哪一版,避免"模型漂移";
- 可追责:出了问题(数值异常、许可争议)可以精确定位到引入问题的具体提交。
🔍 判断要点:
source_revisions的键是"上游仓库名",值是该仓库当时的 commit 哈希。如果第三方仓库声称做了同样的转换但 commit 不一致,其结果可能与本仓库不同。
三、variants:量化变体与权重的映射关系
variants 字段告诉程序"某个量化级别该读哪个文件":
"variants": {
"q8_0": { "tokenizer": "tokenizer.gguf", "weights": "Llama-3-Kimodo-Q8_0.gguf" },
"q4_k_m": { "tokenizer": "tokenizer.gguf", "weights": "Llama-3-Kimodo-Q4_K_M.gguf" },
...
}
关键设计:6 种变体共用同一个 tokenizer.gguf,每个变体只是一个"单体(monolithic)权重 GGUF"。这样 Kimodo 运行时可以从单体中按张量区间读取,无需按层拆分文件。
常用变体速查(与 README.md 表格一致):
| 变体 | 权重文件 | 大小 (GB) | 定位 |
|---|---|---|---|
| BF16 | Llama-3-Kimodo-BF16.gguf | 15.18 | 参考基准 |
| Q8_0(默认) | Llama-3-Kimodo-Q8_0.gguf | 8.14 | 推荐 |
| Q6_K | Llama-3-Kimodo-Q6_K.gguf | 6.32 | 实验性 |
| Q5_K | Llama-3-Kimodo-Q5_K.gguf | 5.33 | 实验性 |
| Q4_K_M | Llama-3-Kimodo-Q4_K_M.gguf | 5.06 | 低比特实验首选 |
| Q4_K | Llama-3-Kimodo-Q4_K.gguf | 4.39 | 实验性 |
四、SHA-256 完整性校验:三步验证你的文件没下坏
files 数组中每个条目都带 sha256 字段,仓库根目录还附带了机器友好的 SHA256SUMS(内容与 files 数组完全一致,方便标准工具直接校验)。
步骤 1:确认文件就位
确保 7 个文件与清单 files 数组中的 path 同名且在同一目录(含 tokenizer.gguf)。
步骤 2:一条命令批量校验
在仓库根目录执行:
sha256sum -c SHA256SUMS
输出类似:
tokenizer.gguf: OK
Llama-3-Kimodo-BF16.gguf: OK
Llama-3-Kimodo-Q8_0.gguf: OK
...
全部 OK 即通过。Windows 用户可改用 certutil:
certutil -hashfile Llama-3-Kimodo-Q8_0.gguf SHA256
将输出与 MANIFEST.json 中该文件的 sha256 值逐位比对。
步骤 3:单独核对某个文件(可选)
只关心某一个文件时,直接计算并比对:
sha256sum Llama-3-Kimodo-Q8_0.gguf
# 期望输出
# b26d0e74b115b33a7f2df5aca04426548365e99217cd590986f8abc4172e4c5c Llama-3-Kimodo-Q8_0.gguf
校验失败时怎么办
- 传输中断/断点续传不完整:重新下载该文件即可,最常见原因;
- 文件名带扩展名差异(如多出的
.part、(1)):sha256sum -c会因路径不匹配报错,先修正文件名; - 哈希真的不一致:不要使用该文件,重新拉取完整仓库再校验。
五、实操清单:拿到仓库后的标准动作
- 阅读 MANIFEST.json 的
default_variant,确认自己要的量化级别; - 用
variants找到对应的weights文件名; - 执行
sha256sum -c SHA256SUMS做完整性校验; - 需要确认上游血缘时,核对
source_revisions的 3 个 commit 是否与你预期的上游版本一致; - 商用前查看 LICENSE-META-LLAMA-3.txt 与 NOTICE,遵守 Meta Llama 3 Community License。
六、FAQ:三个新手高频问题
Q1:为什么 SHA256SUMS 和 MANIFEST.json 里有重复的哈希?
MANIFEST.json 面向程序(带 bytes 大小和变体映射),SHA256SUMS 面向标准校验工具。两者内容一致,属于"一份数据、两种视图"。
Q2:我只需要 Q4_K,为什么 manifest 里写了 6 个文件?
files 描述的是整个发行包的完整清单。你只需下载 variants.q4_k.weights 指向的文件和 tokenizer.gguf,其余条目可忽略。
Q3:清单里能确认模型是"正宗" Llama 3 吗?
可以。source_revisions 指向 meta-llama/Meta-Llama-3-8B-Instruct 的具体 commit,加上 SHA-256 逐文件校验,即可确认转换来源与文件未被篡改——这也是 README.md 中 "Provenance and licence" 一节明确说明的设计意图。
总结
MANIFEST.json 虽只有 74 行,却同时承担了三个职责:发布清单(files + 大小)、精确溯源(source_revisions 的 commit 级血缘)、完整性校验(SHA-256 哈希)。记住核心三步——看 default_variant、查 variants 映射、跑 sha256sum -c SHA256SUMS——你就能安全、可复现地用上 Llama-3-Kimodo-GGML 的任意量化变体。