【亲测免费】 Mirage：为深度学习模型量身定制的超级优化器

项目介绍

Mirage 是一款专为深度神经网络（DNN）设计的张量代数超级优化器。它能够自动发现高度优化的张量程序，这些程序在功能上等同于给定的 DNN，但性能却远超现有的专家手动优化版本。Mirage 通过在 GPU 计算层次的多个层级（内核、线程块和线程）进行联合优化，识别并验证复杂的优化策略，从而实现这一目标。

项目技术分析

Mirage 的核心技术在于其多层次的优化策略。它不仅在单个内核层面进行优化，还考虑了线程块和线程级别的协同优化。这种多层次的优化方法使得 Mirage 能够发现新的自定义内核，这些内核在性能上超越了现有的专家设计版本。此外，Mirage 采用了一种新的多层次图表示（MuGraphs），这种表示方法能够精确描述 GPU 计算层次的各个层级，从而实现更高效的优化。

项目及技术应用场景

Mirage 的应用场景非常广泛，特别适用于需要高性能计算的深度学习模型。例如，在大型语言模型（如 LLAMA-3-70B）中，Mirage 可以自动生成高度优化的 CUDA 内核，用于实现组查询注意力（GQA）和低秩适配器（LoRA）等功能。这些生成的内核在性能上显著优于现有的手动优化版本，能够大幅提升模型的计算效率。

项目特点

1. 自动优化：Mirage 能够自动搜索并验证高度优化的张量程序，无需人工干预。
2. 多层次优化：通过在多个计算层次（内核、线程块和线程）进行联合优化，Mirage 能够发现更高效的优化策略。
3. 功能等价性：Mirage 使用概率等价验证机制，确保所有发现的优化程序在功能上与输入程序等价。
4. 广泛适用性：Mirage 不仅适用于组查询注意力（GQA），还可以应用于其他神经网络架构，如低秩适配器、专家混合模型等。
5. 高性能：生成的优化程序在性能上显著优于现有的专家设计版本，能够大幅提升模型的计算效率。

Mirage 的出现为深度学习模型的优化提供了一种全新的自动化解决方案，极大地简化了高性能计算的实现过程。无论是学术研究还是工业应用，Mirage 都将成为提升模型性能的强大工具。