从books3到pile：AI数据训练引发的“中场战事”

文章预览

仅从欧美已有的案例来看，我们甚至可以套用一句宋丹丹在小品里的名言：“没有被起诉的大模型，算不上知名大模型”，最近meta也毫无意外的因为使用版权数据训练模型被起诉到法院，而这次备受瞩目的案件牵扯出了此前不太为国内熟知的“开源数据集”books3，笔者查阅了books3相关的资料，进一步发现了更大的数据集pile（books3是其一部分），所以我们以此为契机，拆解展示一下这种专门用于训练大模型的数据集的真实情况，进而讨论一下由此引发的几个关键性的法律问题。 从books3到pile books3这次进入大众的视野，是因为meta将其作为大模型训练数据集引发作者不满和起诉开始的。那么books3到底是啥呢？ 关于books3，追踪人工智能道德滥用相关事件的人工智能算法和自动化事件和争议数据库AIAAIC：（ https://www.aiaaic.org/aiaaic-repository/ai-algorithmic-and-autom ………………………………