最先进的NAS算法不如随机搜索，瑞士学者研究结果让人吃惊，也令人怀疑

文章预览

晓查 发自 凹非寺 量子位 出品 | 公众号 QbitAI 最先进的神经架构搜索（NAS）算法竟然不如随机搜索？ 来自 瑞士电信 和 EPFL 的研究者提出了一种评价NAS搜索阶段的测试基准。他们发现，最先进的三种NAS算法DARTS、NAO、ENAS往往与随机搜索完全相同，甚至在某些情况下还不如随机搜索。 因此，他们希望，用这套评估方法能够启发其他人，让研究者去寻找新的NAS算法搜索策略。 NAS与随机搜索 NAS算法分为两个阶段：搜索体系结构空间、验证最佳体系结构。 在搜索阶段，采样器被训练到收敛或预定义的停止标准。评估阶段会从头开始训练最佳模型，并根据测试数据对其进行评估。 在搜索阶段，NAS算法用到了两个近似：减少搜索空间、跨不同体系结构的权重共享。 目前的评估 ………………………………