规避“垃圾”数据，MIT开发新工具帮助甄选合适的训练数据集

文章预览

（来源：MIT News） 为了训练更强大的大型语言模型（LLM），研究者们使用了来自数千个网络来源的海量数据集。 但随着这些数据集被不断组合和重新组合，关于它们来源的重要信息以及使用的限制往往在过程中丢失或混淆。 这除了会引发法律和伦理问题外，还可能影响模型的性能。具体来说，如果一个数据集被错误分类，训练机器学习模型的人可能会在不知情的情况下使用不适合该任务的数据。 此外，来源不明的数据可能包含偏见，导致模型在实际应用中做出不公平的预测。 为提高数据透明度，MIT 及其他机构的一个跨学科研究团队对 1800 多个常见数据集进行了系统审计，发现超过 70% 的数据集缺少某些许可信息，约 50% 的数据集包含错误信息。 基于这些发现，研究团队开发了一款名为“数据来源探索器”的用户友好的工具，该工具能够自动生成 ………………………………