深度｜​Andrej Karpathy 最新思考：小模型有巨大潜力，大模型用来处理多任务，AI 模型未来聚焦于处理重要信息的能力

文章预览

这是前特斯拉 AI 总监 & OpenAI 创始成员 Andrej Karpathy 近日与硅谷知名投资人 Sara Guo 和 Elad Gil 的最新对话。 Karpathy 强调，Transformer 不仅是另一个神经网络，而是一个极具通用性的“差分计算机”。它通过前向和后向传播进行自我调整，能够高效处理复杂任务。Transformer 的扩展性是 AI 领域的重大突破，使得大规模模型成为可能。 虽然当前的大模型非常强大，但 Karpathy 认为未来的小模型也会有巨大的潜力。通过蒸馏技术，能够将大模型的能力压缩到更小的模型中，实现更高效的认知处理，甚至 1～10 亿参数的小模型就能完成复杂任务。 随着互联网数据接近枯竭，未来 AI 发展将依赖于合成数据的生成。Karpathy 提到，在训练大模型时，保持数据集的多样性和丰富性至关重要，合成数据在生成高质量训练数据时将扮演关键角色。 此外，他认为大模型不仅适 ………………………………