贾扬清：大模型尺寸正在重走CNN的老路！马斯克：在特斯拉也是这样...

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 点击进入—> 【Mamba/多模态/扩散】交流群 添加微信号：CVer111，小助手会拉你进群！ 扫描下方二维码，加入CVer学术星球 ！ 可以获得最新顶会/顶刊上的论文idea 和 CV从入门到精通资料，及最前沿应用 ！发论文/搞科研/涨薪，强烈推荐！ 衡宇 发自 凹非寺 转载自：量子位（QbitAI） Transformer大模型尺寸变化，正在重走CNN的老路！ 看到大家都被LLaMA 3.1吸引了注意力， 贾扬清 发出如此感慨。 拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象： 在ImageNet时代，研究人员和技术从业者见证了参数规模的快速增长，然后又开始转向更小、更高效的模型。 听起来，是不是和GPT哐哐往上卷模型参数，业界普遍认同Scaling Law，然后出现GPT-4o mini、苹果DCLM-7B、谷歌Gemma 2B如出一 ………………………………