学术分享丨《大语言模型》最新综述：能力与局限性分析

文章预览

转自 专知 人工智能的迅速发展，尤其是基于 Transformer 架构的 大型语言模型（LLMs）的发展，重新定义了自然语言处理的能力。这些模型在多种与语言相关的任务中展现出了卓越的表现，例如文本生成、问答、翻译和摘要，往往能与类人理解相媲美。更为引人注目的是，LLMs 展现出了超越其核心功能的突现能力，表现出在常识推理、代码生成和算术等任务中的卓越能力。 本文综述了驱动这些能力的基础组件、扩展机制和架构策略 。重点分析了像 GPT 和 LLaMA 这样的模型，探讨了数据和计算量指数增长对 LLM 性能的影响，并讨论了扩展过程中面临的权衡问题。我们还考察了 LLM 在多个领域（如医疗、金融、教育和法律）的应用，突出了它们的适应性以及解决领域特定问题的潜力。 本文的核心问题包括 ： LLMs 如何在不同任务之间进行泛化，如何展示规划 ………………………………