关于模型依赖的数据是不是要一直无限地scale up（变大）的研-20240629172124

黄建同学 · 微博 · AI · 2024-06-29 17:21

文章预览

2024-06-29 17:21 本条微博链接关于模型依赖的数据是不是要一直无限地scale up（变大）的研究和思考↓ #ai# #程序员# —— from Yujia Qin 是时候把数据scale down了 LLaMA3告诉大家一个悲观的现实：模型架构不用动，把数据量从2T加到15T就可以暴力出奇迹。这一方面告诉大家基座模型长期来看就是大厂的机会；另一方面，考虑到scaling law的边际效应，我们想继续看到下一代模型能够有GPT3- GPT4的提升，很可能需要再洗出少说10个数量级 ………………………………

原文地址：访问原文地址
快照地址：访问文章快照
总结与预览地址：访问总结与预览

分享到微博

推荐文章

爱可可-爱生活 · 【(免费书稿)《Beej's C编程指南》：一本面向初学者的C语-20241001103601

21 小时前

宝玉xp · //@西雅图黄都督:这只是民间呼吁//@ExcitedVczh:-20240926221229

5 天前

爱可可-爱生活 · 【Omni-Zero Couples：一键生成风格化情侣肖像画的-20240926205445

5 天前

量子位 · 具身智能机器人隐藏冠军上新：领狗进家门，多模态AI那种

5 天前

爱可可-爱生活 · 【一个精选的工具列表，旨在帮助 AI 代理有效地与网页交互，包括-20240925135150

6 天前