一万亿token！34亿张图像，扩大10倍！史上最大开源多模态数据集MINT-1T发布！

文章预览

 夕小瑶科技说 原创  作者 | 谷雨龙泽 众所周知，现在训练AI最需要的是什么？ 数据，数据，还是数据。——毕竟只有让AI学好了，AI才能好好地回答你的问题，否则就会答非所问。 但是喂给AI的数据，现在和GPU一样，成了紧缺资源。前不久有人试图用AI自己造的数据来喂AI，结果发现这样的话AI越学越笨，最后连他亲妈来了都不忍直视的那种。 不过，最近来了个天大的好消息——MINT-1T来了！ MINT-1T是一个包含一万亿token的多模态预训练数据集，它是史上最大的同类数据集，并且比以前的开源数据集更加多样化。 把开源多模态数据集的规模扩展了10倍，达到万亿token！ 数据集来源于HTML、PDF和ArXiv论文等不同源，都是精挑细选的好货，妈妈再也不用担心我的AI吃不饱了！ 论文标题： MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset with One Trilli ………………………………