主要观点总结
文章讨论了大型语言模型（LLM）面临的挑战，包括在低级错误方面的问题，特别是处理词汇和计数任务时遇到的困难。文章还提到了LLM缺乏认知自我知识的问题，以及可能的解决方案。
关键观点总结
关键观点1: LLM出现低级错误的原因被普遍认为是Tokenization的误导性翻译以及模型缺乏自我认知能力的表现。
作者对Tokenization的翻译问题进行了说明，指出LLM在词汇处理方面的困难是由于对单词、数字和标点符号的分割方式不明确。此外，提到了LLM缺乏认知自我知识的问题，导致在面对某些任务时无法充分利用自己的能力。
关键观点2: Karpathy对LLM的表现提出了看法和建议。
Karpathy认为LLM面临的问题是参差不齐的智能表现，需要让模型知道自己在什么方面擅长和不擅长。他提到了Meta的研究方法，通过生成数据来鼓励模型只回答它知道的问题，并拒绝回答不确定的问题。此外，预训练数据的质量和准确性也是影响LLM表现的重要因素。
关键观点3: 文章提到了LLM在特定任务中的表现差异。
文章提到了LLM在人类奥数中的表现和在简单任务如数数、比较大小中的困难之间的对比。作者强调了LLM在某些任务上的优势和其他任务上的不足，并指出这种表现与人类的知识体系和问题解决能力的发展不同步。
文章预览
机器之心报道 机器之心编辑部 让模型知道自己擅长什么、不擅长什么是一个很重要的问题。 还记得这些天大模型被揪出来的低级错误吗？ 不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。 嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？ 大家普遍认为，是 Token 化（Tokenization）的锅。 在国内，Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性，因为 Tokenization 里的 token 指的未必是词，也可以是标点符号、数字或者某个单词的一部分。比如，在 OpenAI 提供的一个工具中，我们可以看到，Strawberry 这个单词就被分为了 Str-aw-berry 三个 token。在这种情况下，你让 AI 大模型数单词里有几个 r，属实是为难它。 除了草莓 (Strawberry) 之外，还有一个很
………………………………
