文章预览
Llama 3.1 405B badcase —> 锯齿状智能 —> LLM的Tokenization局限 Llama 3.1 405B也能被玩坏 Llama 3.1 405B给出的答案“ 啄木鸟有着 一 只长长的美丽的脖子 ”,多了“ 一 ”少了“ 那 ” Llama 3.1 405B回答: 9.11比9.9大 Llama 3.1 405B回答: 🍓在单词 "Strawberry" 中,有两个 "R" Llama 3.1 405B回答了不该输出的内容 Llama 3.1 405B对于“ 汤姆克鲁斯反着输出 ”给出的答案“ 斯鲁克姆唐 ” 锯齿状智能 对于“ 9.11和9.9谁大? ”、“ Strawberry里有几个r ”这类看似非常简单但是 4050亿 参数的大模型Llama 3.1却答不对,为什么尼? AI大佬 Andrej Karpathy 称这一现象为 锯齿状智能 ( Jagged Intelligence ): 先进的模型能够解决一些极其复杂和令人印象深刻的问题,但它们在面对一些看似简单的问题时却可能表现得相当愚蠢。 锯齿智能的一个形象化理解 AI大佬Andrej Karpathy观点概况: LLM
………………………………