把 Laya 拆成一条反射弧:从输入状态到动作输出,32.8ms 链路里发生了什么
把 Laya 拆成一条反射弧:从输入状态到动作输出,32.8ms 链路里发生了什么
Laya 被定义为"System 1"决策模型——不做长文本生成,不逐 token 解码,而是把一次判断压缩成单次前向传播:输入一段结构化状态与一组问题定义,输出标签、分数或布尔答案,附带校准概率与动作置信度。社区里围绕它的讨论大多停留在"33ms 低延迟""比 Jev 快 4 倍"这类口号上,但真正值得拆解的,是这条"反射弧"上每一段做了什么、在哪一段上花了时间、又是如何被 Core ML / Neural Engine 重新编排的。本文以 laya-coreml 仓库源码为线索,从输入构造、编码器前向、输出解析三条链路逐段切开这条 30 毫秒级的链路——包括那些被 README 用脚注记录的"失真温度"与"短输入优势边界"。
输入侧:结构化状态如何进入 ModernBERT 编码器
反射弧的起点不是 prompt 模板拼接,而是一个二元接口。仓库把入口收敛为 agent.predict(state, questions) 两个参数:state 是任意结构化状态(字符串、字典或列表),questions 是一个以问题 ID 为键的定义字典(见 laya_coreml/agent.py)。核心的设计约束在 laya_coreml/prompt.py 的 _to_internal 里一次性锁死:每个问题必须声明 type,且只能是 choice、score、noul 三种原语之一,对应 QTYPES = {"choice": 0, "score": 1, "noul": 2}。
result = agent.predict(
"The customer requests a refund of a duplicate payment.",
{
"department": {"type": "choice", "instructions": "...", "criteria": {...}},
"urgency": {"type": "score", "instructions": "...", "criteria": ["low", "medium", "high"]},
"refund": {"type": "noul", "instructions": "Does the customer request a refund?"},
},
)
三个原语的语义分工在此刻就决定了前向传播的读取方式:choice 从一组互斥标签里取 argmax;score 在有序等级上计算期望值;noul 直接读取"真/假"位置上的概率。它们不是三个模型,而是同一个编码器之上的三种输出解释协议——这正是"一次前向传播内三原语"成立的先决条件。
状态与问题随后被序列化成一段固定格式的 token 序列。build_sequence 的注释写得很直白(laya_coreml/common.py):
[CLS] <type> instructions [SEP] [MASK] opt0 [MASK] opt1 ... [SEP] state [SEP]
这里有两个被很多复刻忽略的细节。第一,每个选项前面都埋了一个 [MASK] 标记,并且 build_prefix 会把每个 mask 的位置记录进 markers 列表——这些位置索引是后面前向传播里"按选项读 logits"的地图。第二,字典型 state 走 json.dumps(..., ensure_ascii=False) 序列化,非字符串的 criterion(如数字 0 或布尔 False)会以紧凑 JSON 呈现,而不是被当成"无描述"吃掉——render_criterion 的注释明确记录了这个曾经导致 noul 崩溃的坑。
Token 化本身刻意绕开 Transformers 生态:laya_coreml/tokenizer.py 直接用 Rust 实现的 tokenizers 后端加载 tokenizer.json,并只提取 cls/sep/pad/mask 四个特殊 token。这意味着推理期没有任何 torch、transformers 依赖——为后面整段链路进入 Core ML 铺平了路。
真正的形状纪律发生在 laya_coreml/inputs.py 的 collate_items:无论请求多短,都必须落进导出时锁定的张量签名 input_ids / attention_mask / marker_pos / marker_mask / qtype,序列长度向上取整到 16 的倍数(ANE 端则是固定 B1/L96)。marker_pos 是"问题在序列哪个位置"的指针,marker_mask 是"哪些选项槽位有效"的掩码,qtype 一行一值。一次调用里三个问题,就是三行这样的数组并排进同一个 batch——这就是"一次前向传播"的字面含义。
在 ANE 版本(laya_coreml/ane.py)里,输入侧的工作被进一步拆分:embedding 查表、类型向量、全量/局部 attention mask 都留在 CPU 侧用 NumPy 显式构造,再以 BC1L 四维张量喂给 Neural Engine 图;full_mask 与 local_mask 在构造时就把"无效位"替换成 -1e4 的 softmax 惩罚值。这是与通用 CPU+GPU 导出(SDPA 算子)完全不同的实现——README 特意警告"改变普通导出的 device 设置并不能复现 ANE 结果"。
决策侧:一次前向传播内三原语的执行顺序
前向传播的执行顺序是固定的,laya_coreml/result.py 的 system_one 把它写成了显式的流水线:
prepare把每个问题独立构造成内部定义,按插入顺序排列;collate_items按导出 batch_size 切块并补齐形状;forward做一次同步模型调用,返回logits与action_logits两组张量;- 有限性检查(
np.isfinite)之后,action_logits先做 softmax 得到动作概率; - 逐问题按
marker数量截取 logits,除以对应温度后 softmax,得到该问题的概率分布; - 按
qtype分支产出 choice/score/noul 三种答案结构。
三个原语的"执行"其实是在第 5、6 步才分化的。choice 取 p.argmax() 对应的标签并输出完整分布;score 计算 (np.arange(k) * p).sum()——即期望等级(所以 score 输出是一个带小数的连续值,如 1.4481,而不是硬选一档);noul 直接取 p[1] 作为真值概率。它们共享同一份 logits,差异只在于读取协议,这就是三原语能共用一个决策头的原因。
这一段链路里最值得留意的是温度校准的防御性设计,记录在 laya_coreml/common.py 的第 123–175 行。上游 checkpoint 随包发布了按"问题类型+选项数"分桶的拟合温度(temperature_by_options),其中 choice:11+ 桶的原始值是 0.1006——这意味着如果不加干预,logits 会被锐化约 10 倍,一个实际概率 0.24 的选项会被发布成 0.99,任何基于置信度的 Guardrails 门控都会被"伪确定性"击穿。仓库的处理是:把工作温度 clamp 到 [0.5, 5.0],原始值仍保留在 agent.temperature_raw 供审计,加载时对每个被 clamp 的桶发出 RuntimeWarning。README 对此的措辞是"没有诚实的校准需要锐化到这个程度"——这条链路被当成可信安全边界的一部分来对待,而非一个性能开关。
置信度字段同样有严格定义:confidence_from_probs 返回归一化 Shannon 熵置信度 1 - H(p)/log(k),k 是有效选项数(见 laya_coreml/common.py)。这与单纯取最大概率不同——四选一里 0.4/0.2/0.2/0.2 的分布会得到明显低于 0.4 的置信度,因为它把"分布有多平"也计入了不确定性。对 noul 则特判:置信度取 max(p[1], 1-p[1]),与二分类直觉对齐。
动作头(action head)在 ANE 运行时被显式实现(laya_coreml/ane.py 第 160–171 行):决策 logits 经 mask 后 softmax,接着计算 top-2 概率差、归一化熵、有效选项数等 4 维特征,与编码器池化向量拼接,送入两层 MLP。值得注意的实现细节是激活函数——因为只有 256 个 host 侧元素,它直接用 math.erf 计算精确 GELU,注释写明"no tanh/sigmoid approximation"。这一路产出 act_probability,即"这条决策链对执行动作的置信度"——它和答案概率是两回事,前者回答"该不该执行",后者回答"选哪个"。
整条链路的耗时在仓库基准里被切得很细。单问题 91–93 token 的完整预测(含 prompt 构造、token 化、数组、同步推理、校准、格式化),M3 Max 上 CPU+GPU 导出约 13.7ms P50,三问题批处理约 40.1ms P50(见 benchmarks/results/perf-laya-coreml.json);同一硬件上 ANE FP16 单问题降至 4.98ms P50 / 5.31ms P95,W8 调色板变体 4.88ms P50(见 README.md 与 docs/ANE_BENCHMARKS.md)。仓库刻意区分了"单问题微基准"与"完整游戏帧":SNAKE 场景中三个问题依次经 ANE 适配器调用,三问题 API 延迟为 16.32ms P50 / 21.33ms P95,而完整活动游戏循环(含规划特征、渲染序列化、游戏更新)稳定在 49.1–50.0 决策/秒(docs/SNAKE_BENCHMARKS.md)。社区流传的"32.8ms"更接近多问题叠加场景的量级;单问延迟宣传为"完整帧时间"正是仓库反复警告的测量边界错误。
输出侧:动作输出与校准概率如何落地到 Guardrails 场景
system_one 的返回结构(laya_coreml/result.py)是一份无需解析的 JSON 化字典:model 标识、answers 按问题 ID 组织、usage 记录 input_tokens 且 output_tokens 恒为 0。choice 给出 choice + 逐标签 probabilities;score 给出 score(期望等级)+ legend + 逐档概率;noul 给出 noul(真值概率)+ 置信度。没有 generated tokens,就没有 JSON 解析失败、没有约束解码、没有二次校验——这条链路从设计上就把"输出非法"从故障模式里删掉了。这是 Guardrails 类场景(社区讨论里反复出现的工单分流、内容审核、垃圾/钓鱼识别)愿意把 Laya 放进热路径的根本原因:门控逻辑需要的是确定性结构 + 可信概率,而不是一段要再解析的文本。
落地形态上,仓库提供了与结构输出配套的工程约束:
- 离线优先:laya_coreml/hub.py 的
resolve_checkpoint支持local_files_only=True,Hub 模型只在首次初始化时下载,后续预测全部本地数组运算;LAYA_COREML_CACHE环境下,laya_coreml/artifacts.py 会把 Hub 的符号链接包物化为普通文件并做 SHA-256 树校验——这一步针对的是 Core ML 编译器复制链接后丢权重文件的已知问题,属于"概率可信之前先保证权重可信"的工程细节。 - 能力边界前置:ANE 包把总 token 预算锁死在 96(含问题、选项、状态),超限请求在输入侧直接抛错(
collate_items与 ANE 签名校验双重把关)。仓库明确给出对应的长输入测量:同样的 FP16 ANE 图在 L1024 下单次请求约 91.7ms,因此"4.98ms 短输入优势"不能外推为长上下文优势——短决策与长文档不是同一张卡的能力。 - 能量与硬件可证伪:docs/ANE_BENCHMARKS.md 用 65,598 次稳定调用给出三臂对比:相对 compiled MLX FP16,ANE FP16 提速 1.39×、整机能量每决策降低 2.78×,W8 变体为 1.42× / 3.19×;同时明确承认没有实现社区期待的 10× 目标,并记录了一次因 IOReport 计数器异常(CPU 采样跳到约 38021W)而整体拒收的能量测试。这种"把失败测试也归档"的做法,本身就是对"32.8ms 反射弧"叙事的校准——快是真的快,但快在哪里、快到什么程度、哪些数字不能混用,都在同一份文档里给出了边界。
回到"反射弧"这个比喻:输入侧是把外部世界(状态、问题、选项)翻译成编码器可读的骨架——token 序列、mask 指针、类型标记;决策侧是单个前向传播把三种提问协议并行消化,再经温度与熵的校准把它变成可比较的概率;输出侧则是把概率转译成动作信号与门控决策,并在一路上用缓存校验、token 预算与诚实测量挡住"看起来更快的幻觉"。Laya 的价值不在某个数字本身,而在于这条链路每一段都可以被源码、被测试、被失败的实验记录逐条验证——这在"System 1"模型集体冲刺低延迟的当下,是比延迟数字更稀缺的资产。
