文章预览
机器之心报道 编辑：陈萍 现阶段，微调大型语言模型（LLMs）的难点在于，人们通常没有高质量的标注数据。 最近，AI 公司 Databricks 推出了一种新的调优方法 TAO，只需要输入数据，无需标注数据即可完成。更令人惊喜的是，TAO 在性能上甚至超过了基于标注数据的监督微调。 众所周知，LLM 很难适应新的企业级任务。提示（prompting）的方式容易出错，且质量提升有限，而微调（fine-tuning）则需要大量的标注数据，而这些数据在大多数企业任务中是不可用的。 Databricks 提出的模型调优方法， 只需要未标注数据，企业就可以利用现有的数据来提升 AI 的质量并降低成本 。 TAO（全称 Test-time Adaptive Optimization）利用 测试时计算（由 o1 和 R1 推广）和强化学习（RL）算法 ，仅基于过去的输入示例来教导模型更好地完成任务。 至关重要的是，尽管 TAO 使用了测试
………………………………
