阿里达摩院大模型算法岗一面面经

文章预览

来源：投稿  作者：寒武纪 编辑：学姐 今天分享一些阿里达摩院大模型算法岗一面面经。 1、对大模型有什么了解？ 简单说了大致的流程，预训练、有监督微调，RLHF 在训练大语言模型时，通常会采用几个关键的步骤，包括 预训练 、 有监督微调 （Supervised Fine-Tuning）和 基于人类反馈的强化学习 （RLHF，Reinforcement Learning from Human Feedback）。以下是这些步骤的简要流程： 预训练 (Pre-training)是大语言模型的基础阶段，目的是让模型学习语言的基本结构、语法、语义、常识等。这个过程不依赖于特定任务，而是通过大量的无标注数据来训练模型。 预训练阶段后，模型虽然能够理解语言的基础规律，但它可能并未针对特定任务优化。在有监督微调阶段 (Supervised Fine-Tuning)，模型会通过有标签的数据进一步调整，以提高在某些特定任务上的表现。 在有监督 ………………………………