文章预览
特别活动 我们希望能够搭建一个AI学习社群，让大家能够学习到最前沿的知识，大家共建一个更好的社区生态。 如果想和我们空间站日报读者和创作团队有更多交流，欢迎扫码。 欢 迎 大 家 一 起 交 流 ！ 论文 0 1 INDUS：适用于科学应用的有效和高效语言模型 大语言模型（LLMs）训练在一般领域语料上显示出在自然语言处理（NLP）任务中显著的结果。然而，先前的研究表明，使用面向领域的语料训练的LLMs在专门任务上表现更好。受到这个关键洞见的启发，我们开发了INDUS，一套专门针对地球科学、生物学、物理学、日暈物理学、行星科学和天体物理学领域定制的LLMs套件，并使用从不同数据来源获取的策划科学语料库进行训练。我们的模型在这些新任务以及感兴趣领域现有基准任务上均表现出胜过通用型编码器（RoBERTa）和现有领域专用编码器（SciBER
………………………………
