无需人类标注！在环境交互中实现LLM的自我进化

文章预览

论文题目 ：Interactive Evolution: A Neural-Symbolic Self-Training Framework For Large Language Models 论文地址 ：https://arxiv.org/abs/2406.11736 项目地址 ：https://github.com/xufangzhi/ENVISIONS 1 引言 大语言模型（Large Language Model, LLM）在以自然语言为核心的任务上取得了卓越的性能。LLM的成功依赖于大量可获得的人类标注数据作训练，这些数据主要由自然语言（Natural Language，NL）构成。受益于LLM出色的基础能力与NL数据收集的便捷性，LLM在NL-centric场景中的自我训练、自我增强是相对容易的。 为了拓展LLM的能力边界及应用范围，很多研究者将目光聚焦于神经-符号（Neural-Symbolic）场景。例如，对于web agent网页浏览场景，给定NL的任务描述x，agent需要生成对应的符号化动作a，并在浏览器环境中执行a来获取下一步的状态或结果y。相比于丰富的NL标注数据（x,y），收集符号化的数据对（x, ………………………………