揭秘LLM数不清小数点？牛津等高校最新发现，LLM都在以10为基数对数字进行编码

文章预览

点击上方 蓝字 关注我 本文：3400字阅读  8分钟   一个月前，OpenAI o1模型刚出来那会，大家热衷于用9.11和9.8比大小。这样的简单数学问题来进行测试，虽然有些模型能答对，有些模型会答错，但这背后的原因一直困扰着AI研究人员和产品开发者。 近日，来自牛津大学和特拉维夫大学的研究团队在这个问题上取得了重大突破。他们发现，LLM在内部表示数字时采用了一种特殊的编码方式——以10为基数的数字表示。这一发现不仅解释了LLM在数学任务上的表现，还为大家认识LLM数学能力方面的边界提供了一个路径。 研究团队的最大发现是：LLM在内部是以10为基数，采用"数位化"的方式来表示数字的。这意味着，模型并不是将数字作为一个整体来理解，而是将其分解为个位、十位、百位等独立的部分。每个数位都有自己的循环表示，这种表示方法在模型的 ………………………………