微软、上海交通等发布首届数据污染报告，开闭源模型皆被污染

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 随着GPT-4、o1等大模型的出现，生成式AI产品迎来了井喷式增长，但数据污染问题却给模型的准确性和可靠性带来了严重挑战。 简单来说，数据污染是指在自然语言处理中，评估数据被无意中包含在预训练数据集中，从而影响模型评估结果的情况。 为了深入研究数据污染问题，麻省理工、上海交通、哈佛大学、微软研究院、IBM、剑桥大学等20多家机构联合召开了首届数据污染（2024CONDA）研讨会，旨在收集当前可用数据集和模型中数据污染的证据并公布了实际情况。 研究人员主要通过公开的拉取请求收集所有污染证据，并在接收前进行讨论。贡献者需要填写几个关键信息，例如，受污染的资源、在 ………………………………