Meta LLM Compiler：面向编译器优化的基础模型

文章预览

点击下方 卡片 ，关注“ 慢慢学AIGC ” 摘要 大型语言模型(LLMs)在各种软件工程和编码任务中展现了卓越的能力。然而,它们在代码和编译器优化领域的应用仍未被充分探索。训练 LLMs 需要大量的 GPU 时间和海量数据收集，这可能是一个障碍。为了解决这个问题，我们推出了 Meta 大型语言模型编译器(LLM Compiler)，这是一套专门为代码优化任务设计的、稳健的、公开可用的预训练模型。 LLM Compiler 建立在 Code Llama 的基础上，增强了对编译器中间表示(IRs)、汇编语言和优化技术的理解。该模型在 5460 亿个 LLVM-IR 和汇编代码 token上进行了训练，并通过指令微调来解释编译器行为。LLM Compiler 以自定义的商业许可发布，允许广泛重用，有 7B 和 13B 两种参数规模可选。 我们还展示了该模型的微调版本，证明了它在优化代码大小和将 x86_64 和 ARM 汇编反汇编回 LLVM-IR 方 ………………………………