20000 字长文揭示 Claude 3.5 Sonnet 可解释性特征和案例

文章预览

点击下方 卡片 ，关注“ 慢慢学AIGC ” 前言 6 月 21 日，Anthropic 发布了 Claude 3.5 Sonnet（中等模型），在广泛的评测集上超越了竞争对手 OpenAI GPT-4o。 Claude 3.5 Sonnet 目前已经在 claude.ai 网页版和 iOS App 上线，所有人都可免费体验，Pro 和 Team 订阅用户可以享受更高吞吐。同时 Anthropic API 也已上线，价格和 Claude 3 Sonnet 持平，即每百万输入 token 3$，输出 token 15$（详见《 盘点国内外大模型推理服务 API 价格 》）。 就在一个月前，5 月 21 日，Anthropic 更新了一篇模型可解释性的技术博客《扩展单义性：从 Claude 3 Sonnet 中提取可解释特征》，利用稀疏自编码器解读了 Claude 3 Sonnet 特征激活值对应的语义特性。我们有理由相信，Claude 3.5 模型正是建立在该研究的基础上对模型做出的针对性调优。精读这篇文章也能加深对大语言模型的理解，加速自研大模型研究进程 ………………………………