仅总参数量0.1%、单GPU 15分钟完成微调，人类基因组基础模型NT登Nature子刊

文章预览

从 DNA 序列预测分子表型仍然是基因组学中的一个长期挑战，通常是由于注释数据有限以及无法在任务之间转移学习所致。 在这里，英国伦敦 InstaDeep 的研究人员提出了在 DNA 序列上进行预训练的基础模型，称为 Nucleotide Transformer；其参数范围从 5000 万到 25 亿，并整合了来自 3,202 个人类基因组和 850 个不同物种基因组的信息。 这些 Transformer 模型可生成特定上下文的核苷酸序列表示，即使在低数据环境下也能实现准确预测。该模型可以以低成本进行微调，来解决各种基因组学应用问题，为从 DNA 序列进行准确的分子表型预测提供了一种广泛适用的方法。 该研究以「Nucleotide Transformer: building and evaluating robust foundation models for human genomics」为题，于 2024 年 11 月 28 日发布在《Nature Methods》。 基础人工智能（AI）模型通过大规模训练，能够处理各种预测任务 ………………………………