CNN一定比Transformer差吗？LeCun新作：神经网络在实践中的灵活性到底有多大？

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者丨新智元 来源丨新智元 编辑丨极市平台 极市导读   神经网络拟合数据的能力受哪些因素影响？ CNN一定比Transformer差吗？ ReLU和SGD还有哪些神奇的作用？ 近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。 人工智能在今天百花齐放，大模型靠规模称王，小模型则凭数据取胜。 当然我们也希望，可以付出更少的资源，并达到相同的效果。 很早之前，谷歌就有相关研究，探索了在固定算力的情况下，如何分配模型参数量和训练数据量，以达到最好的性能。 近日，LeCun参与的一项工作从另一个角度向我们展示了，神经网络在实践中的灵活性到底有多大？ 论文地址： https://arxiv.org/pdf/2406.11463 这个灵活性指的是，神经网络拟合训练数据（样本数量）的 ………………………………