使用Metal构建的AR高斯散射渲染器：iOS上的创新体验

项目简介

欢迎探索AR Gaussian Splatting for iOS & Metal，这是一个基于Metal技术的增强现实（AR）高斯散射渲染器。这个项目虽称不上完美——它快速但存在一些小问题，但无疑为开发者提供了一个独特的学习和实验平台。它的灵感来源于多个现有的项目，并整合了Satin + Forge框架，由@rezaali开发的AR和3D查看功能。

技术剖析

该项目不依赖于传统的瓦片式渲染器，而是采用基本的四边形光栅化方法。尽管如此，它仍然实现了高斯散射效果，这是一种通过点状元素在屏幕上创建平滑图像的技术。值得注意的是，项目中并未实现球面谐波支持，且目前依赖CPU进行排序，这可能影响到性能表现。此外，开发者计划改进手势处理、模型与AR平面的对齐以及引入GPU排序等优化。

应用场景

AR Gaussian Splatting为移动设备的AR应用提供了新的视觉呈现方式。你可以将它用于：

• 3D模型展示：以更逼真的方式展示产品设计或艺术作品。
• 教育工具：使学生能够直观地理解复杂3D结构。
• 游戏：创造更沉浸式的虚拟环境，增加玩家互动性。

项目特点

• 兼容性：已在iPhone 14 Pro上测试，但可调整渲染分辨率以适应更广泛的设备。
• 开放源代码：基于多个开源项目，鼓励开发者学习、改进并贡献。
• 实时AR：结合Satin + Forge框架，实现实时AR体验。
• 学习资源：相关博客文章介绍如何从一组图片训练自己的模型。

视频演示与授权信息

你可以在YouTube上观看演示视频，了解项目实际运行效果。本项目部分代码受Gaussian-Splatting License管辖，其他部分如Satin + Forge遵循MIT许可。模型来自不同来源，包括Blender合成数据集和blendswap.com。

自定义模型

如果你有兴趣，可以参考提供的Google Colab笔记本训练自己的3D模型。

AR Gaussian Splatting for iOS & Metal是一个富有潜力的开源项目，等待你的发现和改进。无论你是想要深入了解AR渲染还是寻找创新的用户体验，都值得尝试一下！