Llama 8B搜索100次超越GPT-4o！推理+搜索即可提升性能，新「Scaling Law」诞生？

文章预览

点击上方 ↑↑↑ “ OpenCV学堂 ”关注我 来源：公众号  新智元   授权 【导读】 最近的论文表明，LLM等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。 另一个复现实验也发现，让参数量仅8B的Llama 3.1模型搜索100次，即可在Python代码生成任务上达到GPT-4o同等水平。 强化学习先驱、加拿大阿尔伯塔大学CS系教授Rich Sutton曾在2019年写下一篇名为《The Bitter Lesson》的博文，成为AI领域的经典论述之一。 甚至，Rich Sutton在字里行间体现出的直觉已经颇有Scaling Law的意味。 原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf 文章简要回顾了AI在象棋、围棋、语音识别和视觉等领域的发展道路，并提出了这样的观点： 我们应该吸取的惨痛教训之一，就是要意识到通用方法的力量。随着可用算力猛增带来计算量的增加，这种方法可以持续扩展 ………………………………