Big Model Weekly | 第23期

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 1. Is the Pope Catholic? Yes, the Pope is Catholic. Generative Evaluation of Intent Resolution in LLMs 本文提出了一种新的方法来生成评估大型语言模型（LLMs）理解意图的方法，通过检查它们对非字面意义的话语的响应。理想情况下，LLMs应该根据非字面意义的话语的真实意图而不是其字面解释来作出回应。研究结果显示，LLMs在生成与非字面语言相关的回应时存在困难，平均准确率仅为50-55％。虽然明确提供神谕意图显著提高了性能（例如，Mistral-Instruct的75％），但这仍然表明在利用给定意图产生适当回应方面存在挑战。使用思维链条来让模型明确表达意图带来的收益要小得多（Mistral-Instruct的60％）。这些发现表明，LLMs尚不是有效的语用交流者，突显了建立模拟意图和利用它们进行语用生成的更好方法的必要性。 文 ………………………………