Forge项目中的Dyno着色器系统深度解析
2025-06-04 22:14:32作者:贡沫苏Truman
概述
Forge项目中的dyno着色器图系统是一个革命性的GPU计算框架,它允许开发者使用JavaScript(可选GLSL)创建自定义计算图,这些计算图最终会被编译为GLSL并在GPU上执行。这一系统类似于现代3D图形引擎中的着色器图系统,但提供了更高级的抽象和类型安全保证。
核心概念
Dyno计算单元
Dyno类及其子类是系统的核心构建块,可以将其视为具有多个类型化输入和输出的函数模块。这些模块之间传递的值类型为DynoVal<T>,其中T必须是DynoType,代表GLSL中的GPU类型。
关键特性:
- 类型安全:通过TypeScript确保GPU计算图的类型正确性
- 静态验证:在编译前就能捕获类型错误
- 可组合性:可以自由组合现有模块或创建自定义模块
类型系统
DynoType可以是:
- 内置GLSL类型(如
"int"、"float"、"vec"等) - 用户自定义类型(如
{ type: "MyType" })
内置类型分类
- 单值类型:
"int"、"uint"、"float"、"bool" - 向量类型:
"vec4"、"ivec3"、"bvec2" - 矩阵类型:
"mat4"、"mat2x3" - 采样器类型:
"sampler2D"、"usampler3D"等
自定义类型示例
Forge定义了几个有用的自定义类型:
Gsplat:表示一个完整的splat参数TPackedSplats:高效存储的splat集合SdfArray:有符号距离场数组TRgbaArray:RGBA值数组SplatSkinning:splat蒙皮相关数据
实际应用场景
Forge目前主要在以下两个场景中使用Dyno系统:
- 动态splat生成:通过
SplatGenerator/SplatMesh动态生成场景中的splat - splat距离度量计算:为CPU回读和排序计算splat距离度量
底层执行机制
这些操作通过以下类作为伪计算着色器执行:
PackedSplats:以16字节/splat的高效格式存储splat集合Readback:将索引映射到RGBA8值,生成可读回CPU的32位值
Dyno值类型详解
值类型分类
-
字面量(DynoLiteral):
- 直接提供GLSL字面量字符串
- 示例:
new DynoLiteral("float", "1.0")
-
常量(DynoConst):
- 提供JavaScript值,自动转换为GLSL字面量
- 示例:
new DynoConst("vec3", new THREE.Vector3(1.0, 2.0, 3.0))
-
输出值(DynoOutput):
- 表示Dyno块的特定命名输出
- 示例:
const { opacity } = dyno.splitGsplat(gsplat)
Dyno块设计与实现
构造函数选项
| 选项 | 描述 |
|---|---|
inTypes |
输入名称到类型的映射 |
outTypes |
输出名称到类型的映射 |
inputs |
输入值的映射 |
update |
每次执行前调用的更新函数 |
globals |
提供所需全局GLSL定义的函数 |
statements |
提供执行GLSL语句的函数 |
generate |
编译器调用的生成函数 |
生成上下文(GenerateContext)
| 属性 | 描述 |
|---|---|
inputs |
输入键到实际GLSL变量名的映射 |
outputs |
输出键到实际GLSL变量名的映射 |
compile |
编译上下文实例 |
使用模式
// 基本用法
const { sum } = new dyno.Add({ a, b }).outputs;
// 简化写法
const { sum } = dyno.add(a, b).outputs;
// 单输出简化
const sum = dyno.add(a, b);
高级功能:DynoBlock
DynoBlock是一种特殊的Dyno,可以包含内部子图。推荐使用dynoBlock辅助函数创建:
const generator = dyno.dynoBlock(
{ index: "int" }, // 输入
{ gsplat: Gsplat }, // 输出
({ index }) => { // 子图构建
let gsplat = dyno.readPackedSplat(myPackedSplats, index);
const opacity = dyno.dynoConst("float", 1.0);
gsplat = dyno.combineGsplat({ gsplat, opacity });
return { gsplat };
}
);
开发辅助工具
-
代码格式化工具:
unindentLines:处理多行字符串,移除公共前导空格unindent:同上,但返回单个字符串
-
操作符辅助类:
UnaryOp:一元操作BinaryOp:二元操作TrinaryOp:三元操作
学习建议
对于初学者,建议从以下方面入手:
- 研究粒子模拟示例
- 分析
SplatMesh.constructGenerator()的复杂图结构 - 探索
SplatMesh的两个注入点:objectModifier:渲染前修改splat对象worldModifier:修改现有splat对象
通过掌握这些概念和工具,开发者可以充分利用Forge的Dyno系统创建高效、类型安全的GPU计算图,为图形应用带来前所未有的灵活性和性能。
登录后查看全文
热门项目推荐
相关项目推荐
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00- DDeepSeek-OCRDeepSeek-OCR是一款以大语言模型为核心的开源工具,从LLM视角出发,探索视觉文本压缩的极限。Python00
openPangu-Ultra-MoE-718B-V1.1昇腾原生的开源盘古 Ultra-MoE-718B-V1.1 语言模型Python00
HunyuanWorld-Mirror混元3D世界重建模型,支持多模态先验注入和多任务统一输出Python00
AI内容魔方AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。03
Spark-Scilit-X1-13B科大讯飞Spark Scilit-X1-13B基于最新一代科大讯飞基础模型,并针对源自科学文献的多项核心任务进行了训练。作为一款专为学术研究场景打造的大型语言模型,它在论文辅助阅读、学术翻译、英语润色和评论生成等方面均表现出色,旨在为研究人员、教师和学生提供高效、精准的智能辅助。Python00
GOT-OCR-2.0-hf阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile014
Spark-Chemistry-X1-13B科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选
收起
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
251
2.49 K
deepin linux kernel
C
24
6
Ascend Extension for PyTorch
Python
93
120
暂无简介
Dart
550
122
React Native鸿蒙化仓库
JavaScript
217
300
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.02 K
600
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
595
128
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
1.02 K
410
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
356
1.76 K
openGauss kernel ~ openGauss is an open source relational database management system
C++
153
204