CNN一定比Transformer差吗？LeCun新作：神经网络在实践中的灵活性到底有多大？

文章预览

前言   神经网络拟合数据的能力受哪些因素影响？CNN一定比Transformer差吗？ReLU和SGD还有哪些神奇的作用？近日，LeCun参与的一项工作向我们展示了神经网络在实践中的灵活性。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 新智元 仅用于学术分享，若侵权请联系删除 人工智能在今天百花齐放，大模型靠规模称王，小模型则凭数据取胜。 当然我们也希望，可以付出更少的资源，并达到相同的效果。 很早之前，谷歌就有相关研究，探索了在固定算力的情况下，如何分配模型参数量和训练数据量，以达到最好的性能。 近日，LeCun参与的一项工作从另一个角度向我们展示了，神经网络在实践中的灵活性到底有多大？ 论文地址： https://arxiv.org/pdf/2406.11463 ………………………………