AI发展：训练数据即将遭遇瓶颈

文章预览

得益于神经网络规模的扩大以及海量数据的训练，人工智能（ AI ）在过去10年间突飞猛进。“做大做强”的策略，在构建大型语言模型（ LLM ）上取得了显著成果，ChatGPT就是一个典型的例子。 然而，《自然》《麻省理工科技评论》等多家杂志网站指出， AI扩展正逼近极限。一方面，AI“吞噬”着越来越多的能源；另一方面，滋养无数模型成长的传统数据集，正被LLM开发人员过度开垦。 AI几乎读取了互联网上的所有内容，但仍渴望获得更多数据。为此，开发人员必须寻找变通之道。图片来源：twistedsifter.com 训练数据即将遭遇的瓶颈已悄然浮现。有研究机构预测，到2028年左右，用于训练AI模型的数据集典型规模将达到公共在线文本总估计量的规模。换句话说， AI可能会在大约4年内耗尽训练数据。 与此同时，数据所有者（ 如报纸出版商 ）开始打击对其 ………………………………