Veyra-NRVideo 导出跨帧并行实战:NVENC 两帧在途与 fence 事件等待的分段验证

原创2026-11-15 20:29:151,960 阅读
文章标签:音视频视频处理图像处理桌面应用直播

Veyra-NRVideo 导出跨帧并行实战:NVENC 两帧在途与 fence 事件等待的分段验证

本文围绕 Veyra-NRVideo 的“文件/导出跨帧并行”实验(5b 节点)展开,说明在不制造额外 GPU 竞争、不满载、不压显存的前提下,如何把 VideoExportJob 中“刚提交就 CPU 等 GPU”的串行点改造成有界两帧在途,并把 Sleep(1) 轮询换成 fence 事件等待。读完后你能掌握:两帧在途的准入条件与释放规则、两个独立测试开关的组合语义、如何用交错三轮 + 全帧软件解码证明“只是变快、画面不变”,以及在 8K 这类高负载配置上如何避免把处理区间收益冒充整次导出收益。

实验起点与硬约束

该节点从 4a(多 NR 整链低分辨率调度)明确回退后的提交 8dac9ec 继续。实验开始前先做三件事:封存候选方案、封存“无优化”的产品 probe、封存真实基线。约束条件在原文中被写死:

  • 用户明确禁止额外 GPU 竞争、人为满载和显存压力,因此整个节点只做正常文件导出与必要的正确性/取消检查;
  • 每个测试进程有 250 秒上限,构建与 GPU 计时不重叠,导出后的软件解码核对要等计时波次全部结束才执行;
  • 直播/采集路径不进入此导出候选;
  • 未测到的组合不得标成产品通过。

这些约束直接决定了后面的方法学:所有数据都来自同一个可执行文件在同一台机器上的交错运行,任何“看起来更快”的结论都必须有过输出哈希佐证。

串行路径到底卡在哪里

在动手改代码前,原文先做了一次现状实查,结论可以逐条对应到当前源码:

  1. VideoExportJob 每帧先等 resolveGeneration 完成,再把帧交给 NVENC。在 src/engine/VideoExportJob.cpp 中,graph.process(...) 之后立刻判断 if(!asyncNvenc&&!waitCompleted(out,readyStart,sourceCount))break;——串行模式下这一步就是“刚提交即 CPU 等 GPU”。
  2. NvencD3D12Encoder 本身已有 4 个异步槽(src/sink/NvencD3D12Encoder.cpp 的 std::array<Slot,4> slots;),encode() 里按 p.slots[p.submitted%4] 轮转并在复用槽前 drain()。也就是说编码器侧不是瓶颈,瓶颈在调用方提交完就阻塞。
  3. RGB 到 NV12 的颜色转换与 Graph 共用同一条 DIRECT ring:encode() 用 p.ring->acquireNext(slot,st) 取命令列表,提交后把 s.in.inputFencePoint.waitValue 设为 ring->lastSignaledValue(),等于让 NVENC 输入显式等待这次转换提交的 fence(src/sink/NvencD3D12Encoder.cpp)。
  4. Graph 有两份输出和上传缓冲,重用上传缓冲仍会等待对应 producer fence;补帧(FG)的有效性读回必须在 GPU 完成后读取。所以“跨帧并行”绝不能顺手删掉这些同步,也不能把补帧读回一起跳过。

另外两个结构事实决定了后续方案的边界:真实帧池只有 2 个槽位(encode() 中 frameSlot>=(generated?kGeneratedPoolSlots:2) 会直接失败),生成帧池大小为 kGeneratedPoolSlots=2*(FrameBatch::Capacity-1)(include/veyra/pipeline/EnhanceGraph.h);FrameOutputs 会分别携带 videoFenceValue 与 genFenceValue,并提供 gpuComplete()(include/veyra/pipeline/EnhanceGraph.h)。这为“用 fence 值判断帧是否真完成”提供了现成依据。

原文还特别强调:此候选不代表 NVOF(N+1) 与 NR(N) 已重叠。原计划那部分需要分离源颜色、两份 flow/conf 及各自的 producer/consumer fence,而当前实现共用纹理且是 DIRECT 顺序,条件不满足。所以先测实际剩余瓶颈,再独立实验,不凭代码结构宣称已实现(这一支后来单独做成了 NVOF 预取候选,见下文“被拒绝的 NVOF 预取”)。

候选设计:两个互相独立的开关

第一候选只针对“无补帧的 NVENC 导出”,消掉提交后立即阻塞的串行点,并把行为拆成两个可分别开关的组,避免把“等待精度”的收益和“跨帧并行”的收益混在一起:

测试开关 作用 默认值(当前源码)
VEYRA_TEST_EXPORT_SERIAL=1 强制关闭两帧在途与事件等待,回到串行轮询 未设置(不强制串行)
VEYRA_TEST_EXPORT_ASYNC=0/1 单独控制两帧在途 有资格时默认 1
VEYRA_TEST_EXPORT_FENCE_EVENTS=0/1 单独控制 fence 事件等待 有资格时默认 1
VEYRA_TEST_EXPORT_EVENT_CREATE_FAIL=1 逻辑注入事件创建失败 未设置
VEYRA_TEST_EXPORT_EVENT_REGISTER_FAIL=1 逻辑注入事件注册失败(E_FAIL) 未设置
VEYRA_TEST_EXPORT_DEBUG=1 打开 D3D12 调试层与 InfoQueue 统计 未设置
VEYRA_TEST_EXPORT_SLOW_FRAME=<源帧>:<ms> 人为拖慢指定帧完成(模拟慢 GPU) 未设置
VEYRA_TEST_EXPORT_REMOVE_DEVICE_AT=<源帧> 在指定帧调用 ID3D12Device5::RemoveDevice() 未设置

这些开关的解析与准入条件集中在 src/engine/VideoExportJob.cpp:

auto testFlag=[](const wchar_t* key,bool fallback){
    wchar_t value[8]{};const DWORD n=GetEnvironmentVariableW(key,value,8);
    return n&&n<8?_wtoi(value)!=0:fallback;
};
const bool serialOverride=testFlag(L"VEYRA_TEST_EXPORT_SERIAL",false);
const bool eligibleNvenc=!options.fg&&encoder->backend()==sink::EncoderBackend::Nvenc&&slowFrameIndex<0;
const bool asyncNvenc=!serialOverride&&eligibleNvenc&&testFlag(L"VEYRA_TEST_EXPORT_ASYNC",eligibleNvenc);
bool fenceEvents=!serialOverride&&testFlag(L"VEYRA_TEST_EXPORT_FENCE_EVENTS",eligibleNvenc);

由此得到三条必须记住的语义:

  • 准入是三重条件:没有开补帧、编码器是 NVENC、没有启用 slow-frame 测试钩子。其他编码器(MFT)与补帧仍走原路径;
  • 无 ENV 时的“默认版”不是串行版。把没有 ENV 的运行误记为 serial,会让后续对照失效;
  • VEYRA_TEST_EXPORT_SERIAL=1 会同时关掉两帧与事件,这是复现串行基线的唯一正解。

两帧在途如何保证安全

两帧在途不是“多提交几帧”这么简单,关键在于每一个 pending 都持有完整的 FrameOutputs、对应的 FrameLease 以及 NVENC 转换的 consumer fence,且最多两帧:

struct PendingFrame {pipeline::EnhanceGraph::FrameOutputs output;uint64_t consumerFence=0,source=0;
                     std::chrono::steady_clock::time_point submitted;};
std::deque<PendingFrame> pendingFrames;unsigned maxInFlight=1;

对应实现见 src/engine/VideoExportJob.cpp 与提交段 src/engine/VideoExportJob.cpp。释放规则写在主循环开头:if(pendingFrames.size()>=2&&!finishOldest())break;——第 3 帧进入 Graph 之前先确认最旧帧的 producer + consumer fence 都完成并释放 lease(src/engine/VideoExportJob.cpp),循环结束后再把剩余 pending 全部收齐,最后才 encoder->finish()(src/engine/VideoExportJob.cpp)。Graph 的上传/allocator 与 NVENC 的 4 槽依赖不变。

等待函数 waitCompleted() 保留了原有全部工程约束(src/engine/VideoExportJob.cpp):

  • 等待值取 max(videoFenceValue, genFenceValue, consumerFence),只有当两份 fence 对象都等于当前 ctx.fence()(commonFence)时才尝试事件注册;
  • 事件注册成功后用 WaitForSingleObject(completionEvent, 50) 做有界 50ms 等待并循环重试;注册失败记 HRESULT 并回退到 Sleep(1) 轮询,而不是让导出失败;
  • 每 250ms 做一次设备健康检查(checkDeviceAlive),失败则标记 deviceLost 并给出驱动重置提示;
  • 30 秒未完成就判超时并 reportDeviceFailure;
  • 单帧等待超过 1000ms 计入 slowFrames,前 20 次打印 GPU 等待与显存使用。

还有一个容易被忽略的细节:commonFence 排除掉的正是“fence 对象不是同一份”的情况。原文也明确了这一点——两个独立 ring 给同一个 fence 各自 Signal 是不可接受的,后来 NVOF 预取候选正是围绕“共享设备但独立队列/独立 fence”才展开的。

串行基线与对照 probe

基线用真实 exportVideo 生产接口构建定向 probe:tests/perf/NrExportPipelineExperiment.cpp 不实现任何编码器,只调用产品图、NVENC 与封装。它接受 <input> <output> <group> <frames> <logdir>,帧数上限 300(tests/perf/NrExportPipelineExperiment.cpp),支持 none、nr、nr2、sr4k、nrsr4k、sr8k、fg2 等分组,固定 nrPolicy=Native、exportBitrateMbps=30、Vbr 码控,并输出一行 EXPORT_PIPELINE_RESULT ok=... source=... generated=... hold=... encoded=... totalMs=...。CMake 目标定义在 CMakeLists.txt。

驱动脚本 scripts/perf/nr-export-pipeline.py 负责工程化:复制便携包、替换 EXE、前后记录 EXE/DLL/QML 载荷 SHA、清理所有 VEYRA_ 前缀环境变量后按策略重新注入、250 秒超时、把 EXPORT_PIPELINE_RESULT 解析成指标并写 result.json,最后断言产品载荷未被篡改。策略到 ENV 的映射非常直白(scripts/perf/nr-export-pipeline.py):

if current=='serial': env['VEYRA_TEST_EXPORT_SERIAL']='1'
if current=='events': env['VEYRA_TEST_EXPORT_ASYNC']='0'
if current=='async':  env['VEYRA_TEST_EXPORT_FENCE_EVENTS']='0'
if current in ('async','async-events'): env['VEYRA_TEST_EXPORT_ASYNC']='1'
if current in ('events','async-events'): env['VEYRA_TEST_EXPORT_FENCE_EVENTS']='1'

即:serial 全关;events 只开事件;async 只开两帧;async-events 两者都开。基线阶段的命令形如:

nr-export-pipeline.py B2d B5b-serial-v2 serial none4k nr nr2 nrsr4k sr8k

结果 15/15 导出完成、帧数足量、编码器最终 drain 完成、全部载荷 SHA 保持一致。串行总耗时三轮中位约为:普通 4K 2.484s、1080 单 NR 4.306s、双 NR 4.544s、NR+SR 4K 6.341s、4K→8K 的 SR 4.400s(除最后 60 帧,其余均为 120 帧)。同时观察到多个配置 pipeline 每源帧约 15.8ms、NR+SR 4K 约 31.4ms,completionWait 占比很高。原文对这一点保持了克制:当前等待是 Sleep(1) 轮询,尚未测其真实休眠时长,不能直接断言系统 timer 是根因。这也是后来把“事件等待”与“两帧在途”拆成独立开关的直接原因。

基线还做了完整软件解码核对:15/15、共 1620 帧,三轮 A–A 全图/PTS/尺寸/轨道/时长完全一致;并核实 SR8K 实际为 7680×4320,NR+SR 实际为 3840×2160。收据命名为 B5b-serial-v2-decoded-review.json(位于原文记录的 perf-nr-20261004 日志任务目录),framemd5 每帧覆盖完整重建图。后续复用这些不可变源与已核验 hash,避免无依据重复解码。

四策略交错与结果解读

候选阶段用 all 策略把 serial、events、async、async-events 在同一 EXE 内交错三轮,五配置共 60/60 实际导出通过,无压力、无额外 GPU 负载,载荷前后 SHA 一致。随后用 scripts/perf/nr-export-report.py 做报表:它会断言每组策略实际生效(mode、fenceEvents、maxInFlight)、NR 真实创建次数(snippet CreateFeature id=18 result=0x1 计数等于层数)、日志无 [ERROR],再输出 comparison.json。原文还记录了一个务实的工程细节:初次报表因运行库写入非 UTF-8 字节导致读取失败,改为 errors='replace'(仅解析 ASCII 字段),未删改 raw 日志。

三轮中位结果(完整继承原文数据):

三轮中位 串行总ms 组合总ms 总耗时降幅 串行处理ms 组合处理ms 处理降幅
普通4K / 120帧 2488.830 1384.420 44.37% 1892.387 801.251 57.66%
自然1080单NR / 120帧 4338.210 3314.370 23.60% 1881.085 860.843 54.24%
自然1080双NR / 120帧 5492.240 4712.150 14.20% 1941.885 1614.626 16.85%
NR+SR4K / 120帧 7189.020 6727.860 6.41% 3796.911 3226.199 15.03%
4K→SR8K / 60帧 4649.890 4467.930 3.91% 1901.832 1703.155 10.45%

读这张表有三条纪律:

  1. 总耗时包含初始化与最终保存,处理区间不含创建但含 encoder.finish(),两者都不能混为一谈;不能把后两列当作整次导出的改善幅度。
  2. 多数普通 4K 的改善来自改变等待方式:仅事件(events)为 814.877ms,组合为 801.251ms;单 NR 仅事件 946.126ms,组合 860.843ms——差值才体现两帧并行的额外收益;8K 仅事件 1704.953ms、组合 1703.155ms,因此不能宣称 8K 跨帧本身有明显收益。
  3. 双 NR 初始化波动较大,组合总耗时范围 4648.730–5127.380ms,完整范围在 comparison.json。

另外要说明:原文前文的“串行基线”一组中位(如双 NR 4.544s)与上表串行中位(5492.240ms)并不相同。可以推断它们来自不同构建/不同轮次的数据,因此所有降幅结论只取同一轮交错内的 serial 对照,而不是跨阶段拼接数字。

正确性验证:全帧解码 + 整文件哈希

性能脚本 scripts/perf/nr-export-verify.py 在计时波次结束后才启动,思路是“先证明画面与封装完全一致,再谈速度”:

  • 用 ffprobe -count_frames 校验 nb_read_frames 等于该次运行的编码帧数;
  • 用 ffmpeg -fps_mode passthrough -f framemd5 生成逐帧解码哈希,行数必须等于编码帧数;
  • 以每组第一个运行为参考,比较 differentDecodedRows==0 且元数据(codec/尺寸/帧率/time_base/音频轨/时长)完全一致;
  • 若 decoded.framemd5 已存在,则校验其 SHA 与既有收据一致,避免重复解码;
  • 不允许出现“把不一致当成新参考”的路径。

执行 nr-export-verify.py B5b-serial-v2 B5b-candidate-v1 得到 75/75 通过、8100 个完整 decoded 帧与 PTS/尺寸/轨道/时长全部一致;所有策略生成的整个封装文件 SHA 也与各自 A 组一致。原文同时声明了覆盖边界:该验证覆盖当前本机/运行库/素材,不代表其他 GPU、HDR 或直播通过。

边界检查:取消、调试层、FG 与故障注入

边界脚本 scripts/perf/nr-export-edges.py 用 15 个用例覆盖“正常路径附近的危险区域”,且不制造真实内存不足、设备移除或 GPU 压力。用例集包括:单帧、双 NR/NR+SR 的 debug 层、DLSS 2X(FG)保持串行、取消后无正式文件与 owned partial、事件创建/注册失败回退、既有作者 HDR 720p(PQ/Main10)导出。关键断言写在脚本里:

if 'VEYRA_TEST_EXPORT_DEBUG' in flags: passed = passed and '[export-debug] errors=0 removedReason=0x0' in log
if name=='fg-on': passed = passed and 'mode=serial fenceEvents=true maxInFlight=1' in log
if 'failure' in name and name!='failure-reference':
    passed = passed and 'injected=true; keeping polling' in log and 'fenceEvents=false maxInFlight=2' in log
if cancel: passed = passed and not list(out.glob('*.partial*'))

即故障注入后必须能在日志里看到“保持轮询”的回退证据,且 maxInFlight 仍为 2;FG 组必须仍然是 serial + maxInFlight=1。结果 15/15 通过(编译产品 f94d0bc,EXE SHA256 0bd9993fda49d55210456764e09a790ca12e5ce72c5617925b1bec9fb2975359):7 组对照的整个输出文件 SHA 相同,debug ERROR/CORRUPTION 为 0、removedReason=0。原文明确:事件故障是逻辑注入 ERROR_INVALID_HANDLE/E_FAIL,不是真实的 OOM、设备移除或 GPU 压力测试;HDR 源为既有作者测试媒体(SHA256 05827c1b...),不冒充自然 HDR 影片或全效果 HDR 验收。

默认提升与产品路径

边界通过后,才把候选提升为默认——且范围被严格限定:仅 NVENC、无 FG、无 slow-frame 钩子默认使用“两帧 + 事件”;FG 与 MFT 保持串行。VEYRA_TEST_EXPORT_SERIAL=1 显式关闭两者,独立 ASYNC/FENCE_EVENTS 开关仍可置 0/1。原文特别强调不把无 ENV 的默认版误记为串行。

无 ENV 默认路径的保留验证(default-interleaved,18/18 通过)给出两组直接对比:

配置 整次导出 处理区间
单 NR / 120 帧 4263.150 → 3242.470 ms 1885.012 → 864.259 ms
NR+SR4K / 120 帧 6325.810 → 5755.350 ms 3778.987 → 3218.773 ms

FG 两组都实际为 serial/events=false/max1,输出 119 生成 + 1 hold + 120 原帧,说明补帧吞吐承诺没有被改动;每组 6 个完整文件 SHA 相同,前两组还与之前 75 文件/8100 完整解码证明的文件 SHA 相同。

工作线程/队列一侧则用既有集成测试 tests/integration/ExportWorkflowTests.cpp 覆盖真实 ExportJobManager/ExportQueue 生命周期:创建中/暂停中/编码中取消并回收 worker、同路径重试、最终保存前取消、无法删除 partial 位置报告、保存后退出前迟到取消保留成功、冻结批次顺序/追加项/缺失源、MP4/MKV 剪辑。脚本 scripts/perf/nr-export-worker.py 以 lifecycle、lifecycle-boundary、queue、clip-hevc-mp4、clip-hevc-mkv 五种模式运行,5/5 通过,各进程 ≤250 秒,产物载荷前后 SHA 一致。

被拒绝的 NVOF 预取与收尾处置

并行化很容易被顺手扩展到“让 NVOF 提前准备下一帧”。原文记录了这一步被独立实测后明确拒绝:24 个普通导出中,完整输出相同,但整次导出慢 1.41–5.25%,额外占用 232–867 MiB 显存,因此回退该准备器、共享队列入口与导入接口。详细数据与判断见 docs/history/reports/PERF_5B_NVOF_PREFETCH_2026-10-05.md。

最终 5b 的处置结论:

  • 只保留已实测的“无 FG 的 NVENC 两帧 + 事件等待”;
  • FG/MFT 保持原串行路径;
  • 不扩到文件播放、采集或串流;
  • 8K 整次仅减少 3.91%,未达到草案 10% 目标,不得拿 10.45% 的处理区间收益代替整次收益;
  • 其他显卡/MFT 仍走原串行路径且未实卡验证;NVOF 未来帧准备需要另一次有数据支撑的设计。

收尾构建 R0-export-worker-final-v2(真实队列四个完整文件 SHA 相同)与 R0-native-final-v2(两个 120 帧 Auto/固定原生完整文件 SHA 相同)通过,最终原生全解码与整包证据见 docs/history/reports/PERF_R0_ACCEPTANCE_2026-10-05.md。节点总表把 5b 标为 retained-export-rejected-prefetch,见 docs/history/reports/PERF_EXECUTION_NR_2026-10-04.md。

复现路径与适用前提

若要在自己的机器上复核这条路径,按下面的顺序执行即可(脚本中的基准路径、媒体与便携包均为原作者本机约定,需要按本机布局改写常量后再运行):

  1. 构建产品与定向 probe:veyra_nr_export_pipeline_experiment(目标定义见 CMakeLists.txt)与 veyra_export_workflow_tests(CMakeLists.txt);
  2. 先跑串行基线:nr-export-pipeline.py <variant> <label> serial none4k nr nr2 nrsr4k sr8k;
  3. 再跑四策略交错:nr-export-pipeline.py <variant> <label> all none4k nr nr2 nrsr4k sr8k;
  4. 生成报表:nr-export-report.py <label>(断言策略生效、maxInFlight、NR 创建次数、无 ERROR);
  5. 逐帧核对:nr-export-verify.py <A-label> <B-label>(全图 framemd5 + PTS + 轨道 + 时长 + 整文件 SHA);
  6. 边界与生命周期:nr-export-edges.py <variant> <label>、nr-export-worker.py <variant> <label>。

适用前提与限制必须与结论一起表述:

  • 数据来自单机、当前运行库与特定素材(M2 为 4K60 作者测试媒体,M1 为自然 1080p30),不代表其他 GPU、HDR 全效果或直播场景;
  • 只对 NVENC 且无补帧的导出默认生效;MFT 与补帧仍是串行,未做跨设备实卡验证;
  • 30 秒帧超时、250ms 健康检查、设备重置分段续导(退出码 4 与 joinExportSegments 逐包拼接,见 include/veyra/engine/VideoExportJob.h)均保持原语义,本次未改;
  • 8K 的整次收益低于 10% 草案目标,属于“保留但如实标注”的结论,而不是达标结论。

一句话总结这条节点的方法论价值:把“等待方式”和“并发度”拆成两个可独立开关、可独立证伪的实验变量,用同一 EXE 交错三轮、全帧解码与整文件哈希兜住正确性,才能在被测范围内说清楚“快了多少”,也才能在测不动的场景(如 8K)坦率承认“没有额外收益”。

登录后查看全文
Veyra-NRVideo