当 Transformer 遇见单细胞转录组——TOSICA

文章预览

大家好久不见！笔者刚开学一周，还在适应北京的环境. 最近在单细胞邻域有好多“大模型”的文章发表了. 我们知道，大语言模型都基于 Transformer 结构的，笔者之前也在思考如何将 Transformer 应用到转录组数据上来，其实本质的思想就是将基因当成单词，基因表达就是一个句子. 事实上笔者在 19 年就使用了 Transformer 作自然语言处理任务了，只可惜没有早点想到用到单细胞上，且之前也一直纠结于如何将表达量和 Gene embedding 有机地融合. 最近的一些工作给出了比较巧妙的方式，例如刘小乐老师今年发表的 GENEformer[1] 是根据 (预处理后的) 表达量大小对基因进行排序，从而巧妙地结合了表达量信息. 不过笔者今天先介绍韩敬东老师今年发表在 Nature Communications 上的一篇单细胞转录组注释工具 TOSICA: T ransformer for O ne S top I nterpretable C ell type A nnotation. 该 ………………………………