综述：Transformer与基因组语言模型 || Nature Machine Intelligence

文章预览

    2025 年 3 月 13 日，WangLab @ U of T（团队详情在文末）在《 Nature Machine Intelligence》上见刊了一篇题为“ Transformers and genome language models”的研究论文，其中指出 基于Transformer深度学习架构的大型语言模型已经彻底改变了自然语言处理领域。受到人类语言与基因组生物编码之间类比关系的启发，研究人员开始开发基于Transformer及相关架构的基因组语言模型（gLMs）。 本综述探讨了Transformer和语言模型在基因组学中的应用。作者调查了基因组学中适合使用gLMs解决的开放性问题，并阐述了为何gLMs和Transformer架构适用于这些问题。讨论了通过无监督预训练任务构建基因组模型的潜力，特别是零样本和少样本学习的强大能力。同时分析了Transformer架构的优势与局限性，以及当前gLMs的整体优缺点。 此外，基于当前研究趋势，展望了超越Transformer架构的基因组建模 ………………………………