一万亿token！34亿张图像，扩大10倍！史上最大开源多模态数据集MINT-1T发布！

主要观点总结

本文介绍了MINT-1T这一多模态预训练数据集的诞生和特性。MINT-1T是史上最大的同类数据集，包含一万亿token的多模态数据，比以前的开源数据集更加多样化。文章还介绍了数据集数据来源、数据过滤、数据去重等构建过程，并强调了数据集的多样性和广泛性。通过测试在该数据集上训练的多模态模型性能，验证了MINT-1T在大规模多模态预训练中的有效性。

关键观点总结

关键观点1: MINT-1T的特点

包含一万亿token的多模态数据集，是史上最大的同类数据集；比以前的开源数据集更加多样化；包含HTML、PDF和ArXiv等不同源的数据。

关键观点2: 数据集的构建过程

包括数据源收集、数据过滤、数据去重和数据处理等多个步骤。

关键观点3: 数据集的多样性

数据集的多样性主要体现在其来源广泛，包括HTML、PDF和ArXiv文档等，显著增加了数据集的学术性和专业性。

关键观点4: 模型性能评估

通过测试在该数据集上训练的多模态模型性能，验证了MINT-1T在大规模多模态预训练中的有效性。

文章预览

大数据文摘授权转载自夕小瑶科技说 作者：谷雨龙泽 众所周知，现在训练AI最需要的是什么？ 数据，数据，还是数据。——毕竟只有让AI学好了，AI才能好好地回答你的问题，否则就会答非所问。 但是喂给AI的数据，现在和GPU一样，成了紧缺资源。前不久有人试图用AI自己造的数据来喂AI，结果发现这样的话AI越学越笨，最后连他亲妈来了都不忍直视的那种。 不过，最近来了个天大的好消息——MINT-1T来了！ MINT-1T是一个包含一万亿token的多模态预训练数据集，它是史上最大的同类数据集，并且比以前的开源数据集更加多样化。 把开源多模态数据集的规模扩展了10倍，达到万亿token！ 数据集来源于HTML、PDF和ArXiv论文等不同源，都是精挑细选的好货，妈妈再也不用担心我的AI吃不饱了！ 论文标题： MINT-1T: Scaling Open-Source Multimodal Data by 10x: A Multimodal Dataset ………………………………