专栏名称: AINLP
关注AI、NLP相关技术,关注算法研发职位和课程;回复"文章"获取历史信息;双语聊天机器人"无名";中英翻译请输入:翻译 翻译内容;自动对联,请输入:上联 上联内容;调戏夸夸聊天机器人,请求夸、求赞;查询相似词,请输入: 相似词 词条
今天看啥  ›  专栏  ›  AINLP

MTEB 2.0升级有感--新世界的船,载不了旧时代的残党

AINLP  · 公众号  ·  · 2025-02-27 10:10
    

文章预览

提纲 1 背景 2 MTEB新特性 zero-shot 3 深度剖析 4 讨论 1 背景     对text embedding任务有一定关注的人相应已经发现了,作为目前这个领域最权威的一个榜单MTEB在最近几个月迎来的它的2.0版本升级,而陪伴了大家数年的MTEB 1.0虽然依旧会保留,但不会在继续更新了。目前由于2.0版本还存在比较多的数据缺失等问题,所以还需要一定时间大家才能看到一个相对完整的榜单,而关于其中2.0的新特性以及它出现的契机也值得大家去详细了解一下。 MTEB 2.0: https://huggingface.co/spaces/mteb/leaderboard MTEB 1.0: https://huggingface.co/spaces/mteb/leaderboard_legacy 2 MTEB新特性 zero-shot     作为MTEB 2.0版本的一大新特性在于引入了zero-shot filter,引入这个新特性有两个初衷,其一是希望研究人员尽量不用benchmark的数据集去训练,其二是希望开发者能公开自己模型的训练过程。用户可以根据这个t ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览