通过使用此 repo 网页链接您可以将任何解码器模型（例如 Ll-20240803092752

文章预览

2024-08-03 09:27 本条微博链接 通过使用此 repo 网页链接 您可以将任何解码器模型（例如 Llama 3.1 或 Gemma 2）转换为编码器（例如 RoBERTa）。为什么要这样做？因为现代解码器支持巨大的上下文大小（128k+ 个标记），而编码器的最长上下文是 4K（LongFormer），但编码器在分类、命名实体识别 (NER) 和文档嵌入等任务中表现出色。 网页链接 ………………………………