深度｜DeepMind副总裁&Gemini技术负责人：无限上下文长度即将实现

文章预览

图片来源：No Priors Podcast Z Highlights： 这些算法是通用的，虽然它们随着时间的推移进行了扩展，但它们本质上是相同的。然后你将它们应用于某个领域，你在那个领域就会变得非常出色。 最让我惊讶的是， 我预计在一两年内 无限上下文长度即将实现，你会看到无论是在最先进的技术还是在被认为是商品的领域，都将出现一个显著的数量级提升。 因此，我相当确定找到能支持需要更多记忆的模型的、引人注目的用例非常重要。 但如果验证某个结果是否正确比创建解决方案更容易，那么我们就可以利用这一点。因为语言模型能够比生成样本更准确地评估自己的样本，然后我们可以强化那些看起来更有前途的样本，模型也会因此变得更好。 不仅仅是严格地问“奖励是否明确，你赢了还是没赢”，而是开始说“奖励模型需要理解什么是正确的或大致正 ………………………………