大规模语言模型中的知识机制：综述与展望

文章预览

理解大规模语言模型（LLMs）中的知识机制对于迈向可信的通用人工智能（AGI）至关重要。本文从一个新的分类法角度回顾了知识机制的分析，包括知识利用和进化。 知识利用探讨了记忆、理解与应用及创造的机制。知识进化则关注个体和群体LLMs中知识的动态发展 。此外，我们讨论了LLMs所学到的知识、参数化知识脆弱的原因以及潜在的黑暗知识（假设）所带来的挑战。我们希望这项工作能帮助理解LLMs中的知识，并为未来的研究提供见解。 知识是智慧的基石和文明延续的基础，为我们提供了导航复杂问题和应对新兴挑战的基本原则和指导（Davis et al., 1993; Choi, 2022）。在漫长的进化历史中，我们致力于利用已获得的知识和探索未知知识的前沿，以培养更高级的智慧（McGraw and Harbison-Briggs, 1990; Han et al., 2021）。 众所周知，大规模语言模型（LLMs）也因 ………………………………