清华UCSD提出全新微调方法，8B小模型媲美GPT-4o！科学问题正确率提高28%

文章预览

   新智元报道   编辑：静音 【新智元导读】 最近，一支来自UCSD和清华的研究团队提出了一种全新的微调方法。经过这种微调后，一个仅80亿参数的小模型，在科学问题上也能和GPT-4o一较高下！或许，单纯地卷AI计算能力并不是唯一的出路。 我们都知道，在科研界，LLM在解决简单科学问题时表现得游刃有余，但在应对复杂问题时往往会出现幻觉。于是，为了让模型更靠谱，研究人员尝试给模型装上科学工具，帮助它们解决高难度任务。 然而，一旦用上工具，模型就「上瘾」了！甚至连一些不怎么难的问题都要靠工具解决。这不仅让计算成本暴涨，还影响了模型自己「独立思考」的能力——就像有的人有了计算器就不再心算一样。 相较而言，人类科学专家在解决科学问题时，通常会先评估问题的复杂性，再决定使用基本推理或专业工具。 正是受 ………………………………