力闻｜力文所参与的蛋白质语言模型解释性工作于PNAS发表

文章预览

稿件来源 雅克 近日， MIT Ovchinnikov课题组的研究取得重大进展 ，于PNAS上发表了一篇关于蛋白质大模型学习机制的论文。 此项研究，曾在著名蛋白质设计社区Rosetta Common进行过内部分享，主要探讨了解释蛋白质语言模型预测蛋白质结构的机理， 特别是采用了创新的无监督Jacobian共进化提取方法 。 该方法在与传统线性模型和监督学习大模型的对比中展示了卓越性能。文章还通过掩码分析揭示了ESM2模型在进行接触预测时，如何通过识别片段配对来学习序列间的共进化依赖。 这一方法不仅强调了理解蛋白质大模型基本机制的重要性，而且通过可视化大模型的无监督共进化信息， 为评估和设计大模型提供了更高的可靠性，对未来大模型的分析应用具有潜在的重要价值。 01 背景 至今，蛋白质结构预测领域已经经历了显著的进步，特别是以AlphaFold2为典型的 ………………………………