DMS：直接可微的网络搜索方法，最快仅需单卡10分钟 | ICML 2024

文章预览

Differentiable Model Scaling （ DMS ）以直接、完全可微的方式对宽度和深度进行建模，是一种高效且多功能的模型缩放方法。与先前的 NAS 方法相比具有三个优点：1） DMS 在搜索方面效率高，易于使用。2） DMS 实现了高性能，可与 SOTA NAS 方法相媲美。3） DMS 是通用的，与各种任务和架构兼容。 来源：晓飞的算法工程笔记 公众号 论文: Differentiable Model Scaling using Differentiable Topk 论文地址：https://arxiv.org/abs/2405.07194 Introduction   在近年来，像 GPT 和 ViT 这样的大型模型展示了出色的性能。值得注意的是， GPT-4 的涌现强调了通过扩展网络来实现人工通用智能（ AGI ）的重要性。为了支持这个扩展过程，论文引入了一种通用而有效的方法来确定网络在扩展过程中的最佳宽度和深度。   目前，大多数网络的结构设计仍然依赖于人类专业知识。通常需要大量资源来调 ………………………………