AI“黑盒子”被打开了！Anthropic连发两篇论文：用AI“显微镜”追踪大模型思维

文章预览

人工智能（AI）模型是训练出来的，而不是直接编程出来的，因此它们就像一个“黑盒子”，我们并不了解它们是如何完成大部分事情的。 了解大语言模型（LLM）是如何思考的，将有助于我们更好地理解它们的能力，同时也有助于我们 确保它们正在做我们希望它们做的事情 。 例如，AI 可以一步一步地写出它的推理过程。这是否代表它得到答案的实际步骤，还是它有时是在为既定的结论编造一个合理的论据？ 今天，大模型明星公司 Anthropic 在理解 AI「黑盒子」如何思考方面迈出了重要一步——他们提出了一种新的可解释性方法，让我们能够追踪 AI 模型（复杂且令人惊讶的）思维。 他们从神经科学领域汲取灵感，并试图构建一种 AI「显微镜」，让我们能够识别 AI 的活动模式和信息的流动。 在最新发表的两篇论文中，他们分享了AI「显微镜」开发上 ………………………………