OpenAI 新研究：​如何理解 GPT-4 的“思维”

文章预览

3 分钟前 OpenAI 发布了一则研究 关于「理解 GPT-4 的“思维”的方法」 如果能理解 AI 的运作原理，我们就能更好地使用它们。而稀疏自编码器（sparse autoencoders）可以帮助找到模型中的“关键点”。 然后他们找到了个新方法，能够将稀疏自编码器扩展到数千万个 features，效果 优于以往 。 论文 《Scaling and evaluating sparse autoencoders》 https://cdn.openai.com/papers/sparse-autoencoders.pdf 代码 https://github.com/openai/sparse_autoencoder 报道 https://openai.com/index/extracting-concepts-from-gpt-4/ 试试 https://openaipublic.blob.core.windows.net/sparse-autoencoder/sae-viewer/index.html 论文速读 用中学时能看懂的方式 引言 这篇文章主要讲了一种叫做“稀疏自编码器”的技术，它可以用来分析语言模型（比如ChatGPT）内部的运作方式。稀疏自编码器可以帮助我们找到一些有用的“特征”，这些特征就像是在复杂文 ………………………………