米开朗基罗怎么说？谷歌DeepMind推出长上下文评估新框架

文章预览

   新智元报道   编辑：alan 【新智元导读】 近日，来自谷歌DeepMind的研究人员提出了Michelangelo，「用米开朗基罗的观点」来测量任意上下文长度的基础模型性能。 米开朗基罗，文艺复兴时期著名的雕塑家。 曾有人问他是如何创作出如此伟大的作品，他回答说： 「The sculpture is already complete within the marble block, before I start my work. It is already there, I just have to chisel away the superfluous material.」 「在我开始工作之前，雕塑已经在大理石块中完成了。它已经在那里了，我只需要凿掉多余的材料。」 （小编PS：在我写稿之前，稿子已经在字典里完成了......） 这种写意的表述可以类比到许多工作，比如大语言模型从上下文中理解信息。 LLM可能面对着很长的语境（大理石），需要「凿掉」其中不相关的信息，才能理解有效的内部结构（雕塑） 所以，对于LLM来说，米 ………………………………