LLM4Science怎么做？UIUC等最新《科学大型语言模型及其在科学发现中的应用》综述

文章预览

在许多科学领域，大型语言模型（LLMs）彻底改变了处理文本和其他数据模式（例如分子和蛋白质）的方式，在各种应用中实现了卓越的性能，并增强了科学发现过程。然而，以往关于科学LLMs的综述往往集中在一到两个领域或单一模式上。本文旨在通过揭示科学LLMs在其架构和预训练技术方面的跨领域和跨模式连接，提供一个更全面的研究视角。 为此，我们全面调查了250多种科学LLMs，讨论了它们的共性和差异，并总结了每个领域和模式的预训练数据集和评估任务。此外，我们还探讨了LLMs如何部署以促进科学发现 。与本综述相关的资源可在https://github.com/yuzhimanhua/Awesome-Scientific-Language-Models获取。 大型语言模型（LLMs）的出现（Zhao et al., 2023c）为自然语言处理（NLP）带来了新的范式，取代了为每个任务设计的专用模型，使用统一的模型来有效地解决广 ………………………………