Solomon是什么:不生成文本的文档结构化决策模型,每个问题返回确定性概率的完整指南
Solomon是什么:不生成文本的文档结构化决策模型,每个问题返回确定性概率的完整指南
Solomon 是一个基于 Qwen/Qwen3.8-27B 构建的文档结构化决策模型:输入一份文档 + 一组结构化问题,输出每个决策一个确定性概率,并可附带 Top 3 的原文句子指针。它不生成文本、没有对话、没有采样——同一份文档、同一组问题,每次得到的数字都完全相同。
📌 Solomon 是什么:一句话定义
Solomon 由两部分构成:一个 LoRA 适配器(约 830 MB,问题侧放置)+ 一组训练好的线性答案头,在推理时叠加到 Qwen3.8-27B 基座上。基座权重不包含在本仓库中,需要按固定 revision 自行下载。
| 输入 | 一份文档(文本或页面图片)+ 任意多个结构化问题 |
| 输出 | 每个决策一个概率;可选返回按相关性排序的原文句子指针 |
| 不是 | 聊天机器人、通用知识问答、文本生成、摘要工具 |
✅ 适合:把文档变成结构化、机器可读的答案,且需要每个答案附带数字置信度、确定性比流畅性更重要的场景。
❌ 不适合:答错代价很高、又无法人工复核的场景(官方在 README.md 中明确提醒)。
工作原理:文档只预填一遍,每个问题只读一个概率
- 文档只读一次,状态可复用:文档只过一次模型,形成可复用的状态(
POST /states),所有问题都从该状态上"分叉"作答——问题顺序不同,答案不变。 - 适配器"问题侧"放置:LoRA 在读取文档时是关闭的,从提问才开始生效(见 adapter/config.json 中的
placement: question)。 - 读取而非生成:模型在固定位置"提交",该位置的字母 logits 经训练好的线性头(readout 模式
four_collapsed)映射为概率,没有采样、不解析自然语言回答。
📌 这种设计的直接收益就是确定性:实测"复用缓存的文档状态"与"完整前向计算"在决策上一致,概率差小于 0.0108(BF16)。
4 种问题类型与对应返回
| 问题类型 | 问题示例 | 返回 |
|---|---|---|
| 是 / 否(yes/no) | 文档是否建立了 X? | 一个概率 |
| 单选(choice) | 它声明的是以下哪一项? | 各选项上的概率分布 |
| 有序选择(ordered) | 它声明的是哪个阈值? | 有序选项上的概率分布 |
| 多标签(multi-label) | 以下哪些适用? | 每个候选各一个概率 |
如何运行 Solomon:三步安装并启动服务
第 1 步:下载适配器与基座模型
pip install -r requirements.lock
huggingface-cli download DoccyHealth/Solomon --local-dir ./solomon
huggingface-cli download Qwen/Qwen3.8-27B --revision 1d4bf0f2ff6012fd82039f2fa52739d0dd7c60c0 --local-dir ./solomon/base
第 2 步:4 行 Python 启动 HTTP 服务
from solomon import api, service
from solomon.serving import ServiceEngine
engine = ServiceEngine('adapter/adapter.safetensors', 'adapter/heads.npz')
layer = service.service('./store', engine)
server = api.serve(layer) # GET /health, POST /states, POST /v1/decide
server.serve_forever()
第 3 步:发送结构化问题(POST /v1/decide)
{
"state": "……文档正文……",
"evidence": "support",
"questions": {
"certified": "Is Rookwood Ltd certified to supply produce?",
"scheme": {
"type": "choice",
"instructions": "Which certification scheme applies?",
"options": ["Freshcare", "SQF", "GlobalG.A.P."]
}
}
}
返回中每个问题都会得到概率:单选返回 answer + 各选项 probabilities;多标签返回每个候选各自的概率。
如何读懂返回值:ordering_score 与 evidence 指针
返回中有两个字段需要特别注意:
ordering_score:对是/否、单选问题,它就是读出概率本身;对多标签问题,它是各候选概率的乘积——这假设候选相互独立,是一个排序用的启发式分数,而非联合概率。需要真实量级时,请读每个候选各自的数值。evidence:请求evidence: "support"时,返回一个训练好的相关性头排序出的 Top 3 句子指针。它只是"开始阅读的位置",不是答案的原因;当答案为"文档未提及"时,直接不返回指针(策略见 serving/evidence-policy.json)。
⚠️ 没有弃权:每个问题都会被回答。服务拒绝输出
abstain、confidence、threshold这类字段——在哪里划置信度红线是你的业务策略,不是本项目的承诺。
实测表现与诚实的局限
真实文档留出测试集(54 份文档、802 个问题,从未参与训练):
| 指标 | v1.1 | v1.0 |
|---|---|---|
| 真实文档测试集答对 | 706/802(88.0%) | 679/802(84.7%) |
| 页面图片输入答对 | 713/802(88.9%) | — |
| 参考配置 | BF16(另可选 fp32 / int8) | — |
项目的 README 对局限性的披露非常直白,引用它之前建议先读 README.md 的 Limitations 一节:
- 评测标签由 AI 生成,未经人工核验——部分"测出的错误"可能是"标签错误";
- 主提升不具备统计显著性:95% 置信区间 [-1.3, +7.4] 包含零,且测试集仅 54 份文档;
- 概率低端存在低估:标注在 5%–20% 的答案实际为"是"的比例更高;
- 多候选合并分数是排序而非联合概率;
- 任何地方都没有认证错误率,服务路径上不强制执行任何阈值。
在 Mac 上运行:Apple Silicon MLX 实验包
仓库附带可选的 mlx/ 包,可在 Apple Silicon(M 系芯片)上运行完整 BF16 推理,当前为实验性状态:在 M5 Max 128 GB 上测得峰值 Metal 分配约 59.9 GB,24–32 GB 的 Mac 无法运行。注意 MLX 包固定加载 v1.0 的适配器与权重,与 v1.1 不同。
仓库结构与关键文件
| 文件 / 目录 | 作用 |
|---|---|
| adapter/adapter.safetensors | LoRA 适配器权重(rank 64,问题侧放置) |
| adapter/heads.npz | 训练好的线性答案头 |
| adapter/config.json | 基座模型、固定 revision、校验和与放置方式 |
| serving/selection.json | readout 模式与模型身份选择 |
| serving/serving-binding.json | 运行时身份绑定(fp32 / int8 各有独立绑定文件) |
| serving/readout-temperature-v3.json | 标定工件(v1.1 所有温度均为 1.0) |
| src/solomon/service.py | 决策层:serving 契约的实现 |
| src/solomon/api.py | HTTP 接口(/health、/states、/v1/decide) |
| src/solomon/readout.py | 把字母 logits 转成每种问题类型的预测 |
| src/solomon/binding.py | 身份检查:不是被测运行时就拒绝加载 |
| MANIFEST.json | 每个文件的 sha256 与大小,下载后可校验 |
🔒 一个值得注意的细节:身份绑定机制会让"被测过的引擎"之外的任何运行时(不同的 torch 版本、不同的适配器、不同的精度)直接拒绝加载,而不是悄悄给出不同的数字。
Solomon 适合谁用:3 类典型场景
- 合规 / 政策文档结构化抽取——用是/否 + 多标签问题批量判定,直接拿到数值置信度供下游系统消费;
- 批量分诊与排序——需要给数百个问题排序、分诊时,确定性的数值比"流畅的回答"更有用;
- 回归测试与 A/B 对比——输出完全确定,模型或提示变更后结果可直接逐条比对。
快速总结
- Solomon = Qwen3.8-27B + LoRA 适配器 + 训练好的答案头,一个不生成文本的文档结构化决策模型;
- 输入文档 + 结构化问题,输出确定性概率,可选 Top 3 证据句子指针;
- 支持 4 种问题类型:是/否、单选、有序选择、多标签;
- 同样的输入永远得到同样的输出,身份绑定防止"错误的引擎跑出不同的数";
- 数字是诚实的:真实测试集 88.0%(802 题中 706 题全对),AI 标签、提升不显著、低端低估等局限均在 README 中逐条写明。