【他山之石】深度学习工作：从追求 SoTA 到揭示新现象

文章预览

“他山之石，可以攻玉”，站在巨人的肩膀才能看得更高，走得更远。在科研的道路上，更需借助东风才能更快前行。为此，我们特别搜集整理了一些实用的代码链接，数据集，软件，编程技巧等，开辟“他山之石”专栏，助你乘风破浪，一路奋勇向前，敬请关注！ 本文主要讨论了从追求模型 SoTA 到揭示新现象的转变。通过几个例子，包括ACNet到RepVGG的发展，RIFE插帧、Film插帧，以及OpenAI的近期工作，阐述了这种转变的重要性。 最近大家对于前沿工作的讨论，常常出现两极分化 比如 DiT，看到很多人说是灌水，研究生实验报告，Sora 以后有人又说“打脸” 比如说 OpenAI-o3，有答主说 “这是真正的智能爆炸，断崖式提升”，然后评论区说 “下次换个话术” 身边的故事，近期审了不少论文，发现大家对于宣称 SoTA 的工作越来越严苛了。往年那种先 SoTA ………………………………