Science｜基因语言模型Evo

文章预览

Evo｜基因语言模型 24年11月15日基因组语言模型 Evo 模型登上了 Science 封面文章。我立马跑去下载学习，眼前一亮的通讯作者 Brian L. Hie，名副其实的后浪 。因为 Brian 参与了 ESM 系列工作，也发表了蛋白语言模型进行抗体亲和力成熟的 Science 和 Nature Biotechnology 文章，所以他对语言模型的理解肯定是出类拔萃的。下面跟随笔者一起看看这篇文章。 正文 Evo 是24年11月15日在 Science 见刊的封面文章 [ 1 ]，阅读了 《基因组语言模型的学习笔记》 就对GLM有了初步认识。下面进一步介绍 Evo 这一篇文章： 2.1 . 为什么不选择 Transformer，选择StripedHyena？ 基因组的 数据长度太长 ，平均在3mb， 下图D ，Transformer学不好这么长的依赖关系 基因组数据 有许多的不同门（phylum）和纲（class） ，例如 Bacteroidota 是拟杆菌门， 下图E 性能更优 ：在比较不同的模型架构时， ………………………………