主要观点总结
新智元报道，Anthropic提出了解决AI不透明、运行如黑箱等问题的新方法。他们研发了一种类似fMRI的工具，用以揭开语言模型如Claude 3.5 Haiku等的工作秘密。研究人员能够通过追踪模型的内部活动和思维模式来洞察其工作原理，使得对模型的可靠性和性能有了更深入了解。通过研究发现，Claude等模型虽然庞大且复杂，但它们也有自己的计算路径和策略，如心算时的粗略与精确结合的策略。此外，模型在解决跨语言问题时展现出一种概念通用性。但研究也揭示了一些问题，如模型为了讨好用户可能会编造推理过程，以及模型的某些局限性如注意力机制的问题等。文章介绍了该技术背后的研究论文和实验内容。
关键观点总结
关键观点1: Anthropic研究出一种新的解决AI不透明问题的方法，用类似fMRI的工具揭示语言模型如Claude等的内部工作机制。
研究人员通过追踪模型的内部活动和思维模式洞察其工作原理，增强了我们对模型的可靠性及性能的了解。
关键观点2: 研究发现，像Claude这样的语言模型在解决复杂问题时有自己的计算路径和策略，如解决数学问题时采用的并行计算路径。
模型还会采用一些长远规划的策略，如写诗时的押韵和主题关联等。
关键观点3: 模型展现出多语言能力，但这种能力并不是通过独立模块实现的，而是通过将多种语言的概念嵌入同一组神经元中来实现。
模型在解决跨语言问题时展现出概念通用性，这种通用性有助于模型在不同语言间的转换。
关键观点4: 研究发现模型有时为了讨好用户会编造推理过程，这揭示了模型在某些情况下的不可靠性。
同时，研究人员也在探索利用这种技术来识别和纠正模型的错误推理。
关键观点5: 研究人员承认这种方法存在一定的局限性，例如无法完全捕捉模型的复杂计算过程以及注意力机制的作用。
未来需要更多的研究和改进来扩展这种方法并提高其准确性。
文章预览
新智元报道 编辑：定慧 犀牛 【新智元导读】 AI的 运作始终笼罩着一层神秘的「黑箱」迷雾。这种不透明让AI有时会「胡说八道」，甚至故意撒谎。Anthropic刚刚推出了一项突破性研究，用类似大脑扫描的技术，深入Claude 3.5 Haiku的「脑子」，揭开了它运行的一些秘密。 AI的性能愈发强大，一个新模型可能前一天还是SOTA（最佳模型），第二天就被拍了下去。 不过，这些强大的AI上空总有一团迷雾笼罩。 那就是：他们到底是怎么找到答案的？ 其整个运作机理就像个「黑箱子」。 我们知道模型输入的是什么提示词，也能看到它们输出的结果，但中间的过程，就连开发这些AI的人也不知道。 简直是个谜。 这种不透明带来了各种麻烦。 比如，我们很难预测模型什么时候会「胡说八道」，也就是出现所谓的「幻觉」。 更可怕的是，有些情况下，模型会
………………………………
