240万亿巨量数据被洗出，足够训出18个GPT-4！全球23所机构联手，清洗秘籍公开

文章预览

前言   是时候把数据Scale Down了！Llama 3揭示了这个可怕的事实：数据量从2T增加到15T，就能大力出奇迹，所以要想要有GPT-3到GPT-4的提升，下一代模型至少还要150T的数据。好在，最近有团队从CommonCrawl里洗出了240T数据——现在数据已经不缺了，但你有卡吗？ Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： 新智元 仅用于学术分享，若侵权请联系删除 是时候把数据Scale Down了！ 如今，这个问题已经迫在眉睫。 清华博士秦禹嘉表示，Llama 3就揭示了一个严峻且悲观的现实：在不改变模型架构的情况下，将数据量从2万亿（2T）增加到15万亿（15T），就能大力出奇迹。 这也就意味着，从长远来看，基座模型的发展机会，只能独属于大公司。 而考虑到Scalng Law的 ………………………………