专栏名称: 量子位
վ'ᴗ' ի 追踪AI行业和技术动态,这里更快一步!关注我们,回复“今天”,更多大新闻等你来发现
今天看啥  ›  专栏  ›  量子位

Karpathy大神问懵DeepSeek!一个🤣竟藏53个Token,思考10分钟没解释出来

量子位  · 公众号  · AI  · 2025-02-13 17:27
    

主要观点总结

文章介绍了Karpathy大神的实验新发现,关于Unicode编码中的提示词注入方法。这种方法能将字符信息隐藏在emoji或任何Unicode字符中,表面上无明显区别,但对善于思考的模型影响较大。实验显示DeepSeek模型受到此方法影响,而ChatGPT也能察觉背后可能有隐藏信息。Karpathy还提到了将编码知识注入模型参数的方法,使模型能在没有提示的情况下解码特定编码。

关键观点总结

关键观点1: Karpathy的实验新发现关于提示词注入

Karpathy通过一些实验展示了如何通过Unicode编码中的提示词注入方法隐藏信息,并影响模型的思考过程。这种方法能将字符信息隐藏在emoji或任何Unicode字符中。

关键观点2: DeepSeek和ChatGPT对提示词注入的反应

DeepSeek模型受到提示词注入方法的影响,而ChatGPT能够察觉背后可能有隐藏信息。DeepSeek在思考了较长时间后能够回答出隐藏的信息。

关键观点3: Karpathy关于模型参数的知识注入

Karpathy提到了一种将编码知识注入模型参数的方法,这样模型就能在没有提示的情况下解码特定的编码。这种方法可能有助于解决过于具体的编码界面问题。

关键观点4: 文章结尾的评选活动推广

文章最后提到了关于2025年值得关注的AIGC企业与产品的评选活动,并邀请读者参与评论,留下想法。


文章预览

白交 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 注意看,这个 😀 竟然占了53个token! ( 标题 🤣是 😀平替 ) Karpathy大神又带来他的新实验新发现了,结果直接问懵DeepSeek和ChatGPT。 思考过程be like: DeepSeek硬是思考了十分钟也还是没有答上来,觉得要是“lol”这个答案就太简单了。 Karpathy表示:但其实就是这么简单。 随后他进一步解释了这背后的原因—— 提示词注入 。将一些信息注入进字符中,表面上看没啥区别,但里面可以表达各种隐藏信息。对于善于思考的模型,就会很容易受到这个方法的影响。 来看看具体是咋回事。 一个 😀 竟占53个Token 这一想法,源于Paul Butler的一篇博客。 他看到有人说,通过零宽连接符(ZWJ),可以把任意的文本藏在emoji符号当中。 结果一试发现真的可以,不过可以不需要ZWJ,隐藏信息的载体也不一定非得是emoji ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览