揭秘LLM数不清小数点？牛津等高校最新发现，LLM都在以10为基数对数字进行编码

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           研究者通过上图说明，LLMs以每位数以10为基础表示数字，在简单的数字任务中，LLMs经常会犯这样的错误：在“数字空间”而不是在值空间中接近答案，(b)尽管探确切的数字很困难，但可以准确地解码数字值。 牛津大学和特拉维夫大学的研究团队注意到一个有趣的现象： 当LLM在数值任务中出错时，这些错误往往分布在答案的各个数位上，而不是围绕其数值正常分布。 这一观察启发了研究团队提出了一个新的假设： LLM可能采用了一种基于数位的表示方法，而不是直接表示数字的值。 02 探测实验和因果干预 基于论文以上研究方法，我写了一个小的测试题，如下图： 让我们进行一个数位修改测试的游戏： - 给出三个三位数，如375 ………………………………