无需人类标注！在环境交互中实现LLM的自我进化

文章预览

大语言模型（Large Language Model, LLM）在以自然语言为核心的任务上取得了卓越的性能。LLM的成功依赖于大量可获得的人类标注数据作训练，这些数据主要由自然语言（Natural Language，NL）构成。受益于LLM出色的基础能力与NL数据收集的便捷性，LLM在NL-centric场景中的自我训练、自我增强是相对容易的。 为了拓展LLM的能力边界及应用范围，很多研究者将目光聚焦于神经-符号（Neural-Symbolic）场景。例如，对于web agent网页浏览场景，给定NL的任务描述x，agent需要生成对应的符号化动作a，并在浏览器环境中执行a来获取下一步的状态或结果y。相比于丰富的NL标注数据（x,y），收集符号化的数据对（x,a,y）是非常昂贵的且困难的。同时，符号数据稀缺和内生复杂性，也导致LLM在处理神经-符号场景下的任务时具有较大的局限性。 因此，本研究的核心是： 如何在无人 ………………………………