主要观点总结
本文介绍了机器之心发布的AIxiv专栏关于机器学习编译器的最新进展，特别关注于来自卡内基梅隆大学的Catalyst Group团队发布的Mirage项目。Mirage项目基于SuperOptimization技术，能够自动生成高性能GPU内核算子，无需用户编写任何CUDA和Triton代码。文章详细描述了Mirage的优势、工作流程和生成高效内核的方法，并通过多个案例展示了Mirage生成的内核比现有手写或编译器生成的内核更高效。
关键观点总结
关键观点1: AIxiv专栏是机器之心发布学术、技术内容的栏目，报道了全球各大高校与企业的学术进展。
机器之心作为一个发布学术、技术内容的平台，通过AIxiv专栏报道了全球各大高校与企业的最新技术进展，有效促进了学术交流与传播。
关键观点2: Mirage项目的特点和优势
Mirage项目基于SuperOptimization技术，能够自动生成高性能GPU内核算子，无需用户编写CUDA和Triton代码。它的主要优势包括：提高生产力，通过自动生成适用于各种GPU架构的高性能实现，程序员无需再手动编写CUDA/Triton或特定架构的低级代码；更好的性能，能够自动搜索与输入的PyTorch程序功能等价的潜在GPU实现，探索并最终发现性能最优的内核；更强的正确性，利用形式化验证技术自动验证生成的GPU内核的正确性。
关键观点3: Mirage项目的工作流程
Mirage的工作流程包括：对于输入的PyTorch程序，生成器自动搜索与输入程序功能等价的内核；所有生成的候选内核被发送到等价性验证器，自动检查每个内核是否与所需程序等价；最后，将经过验证的内核转译为CUDA内核。Mirage会返回性能最佳的CUDA内核。
关键观点4: Mirage项目在生成高效内核方面的应用案例
Mirage项目通过多个案例展示了其生成的内核比现有手写或编译器生成的内核更高效。这些案例包括：Normalization + Linear、LoRA + Linear、Gated MLP以及Attention Variants等。Mirage通过融合计算、利用代数变换和GPU优化技术，实现了对原有内核的性能提升。
关键观点5: Mirage项目的长期愿景
Mirage项目的长期目标是降低GPU编程门槛并提高程序效率，让未来的AI开发者无需学习复杂的GPU编程语言，只需指定所需的数学操作，就能在GPU上轻松实现AI模型。随着LLM和其他生成式AI应用的飞速发展，这种能够自动将计算任务转换为高效GPU实现的技术将变得越来越重要。
文章预览
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 近日，来自 CMU 的 Catalyst Group 团队发布了一款 PyTorch 算子编译器 Mirage，用户无需编写任何 CUDA 和 Triton 代码就可以自动生成 GPU 内核，并取得更佳的性能。 随着 GPU 加速器的不断发展以及以大语言模型为代表的生成式 AI 应用的不断推广，通过开发高性能 GPU 内核来优化 PyTorch 程序的计算效率变得越来越重要。目前，这项任务主要由专门的 GPU 专家来完成。在 NVIDIA CUDA 或 AMD ROCm 中编写高性能 GPU 内核需要高水平的 GPU 专业知识和大量的工程开发经验。目前的机器学习编译器
………………………………
