主要观点总结
文章介绍了Karpathy大神的实验新发现,关于Unicode编码中的提示词注入方法。这种方法能将字符信息隐藏在emoji或任何Unicode字符中,表面上无明显区别,但对善于思考的模型影响较大。实验显示DeepSeek模型受到此方法影响,而ChatGPT也能察觉背后可能有隐藏信息。Karpathy还提到了将编码知识注入模型参数的方法,使模型能在没有提示的情况下解码特定编码。
关键观点总结
关键观点1: Karpathy的实验新发现关于提示词注入
Karpathy通过一些实验展示了如何通过Unicode编码中的提示词注入方法隐藏信息,并影响模型的思考过程。这种方法能将字符信息隐藏在emoji或任何Unicode字符中。
关键观点2: DeepSeek和ChatGPT对提示词注入的反应
DeepSeek模型受到提示词注入方法的影响,而ChatGPT能够察觉背后可能有隐藏信息。DeepSeek在思考了较长时间后能够回答出隐藏的信息。
关键观点3: Karpathy关于模型参数的知识注入
Karpathy提到了一种将编码知识注入模型参数的方法,这样模型就能在没有提示的情况下解码特定的编码。这种方法可能有助于解决过于具体的编码界面问题。
关键观点4: 文章结尾的评选活动推广
文章最后提到了关于2025年值得关注的AIGC企业与产品的评选活动,并邀请读者参与评论,留下想法。
文章预览
白交 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 注意看,这个 😀 竟然占了53个token! ( 标题 🤣是 😀平替 ) Karpathy大神又带来他的新实验新发现了,结果直接问懵DeepSeek和ChatGPT。 思考过程be like: DeepSeek硬是思考了十分钟也还是没有答上来,觉得要是“lol”这个答案就太简单了。 Karpathy表示:但其实就是这么简单。 随后他进一步解释了这背后的原因—— 提示词注入 。将一些信息注入进字符中,表面上看没啥区别,但里面可以表达各种隐藏信息。对于善于思考的模型,就会很容易受到这个方法的影响。 来看看具体是咋回事。 一个 😀 竟占53个Token 这一想法,源于Paul Butler的一篇博客。 他看到有人说,通过零宽连接符(ZWJ),可以把任意的文本藏在emoji符号当中。 结果一试发现真的可以,不过可以不需要ZWJ,隐藏信息的载体也不一定非得是emoji
………………………………