8B模型奥数成绩比肩GPT-4！上海AI Lab出品

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 只要1/200的参数，就能让大模型拥有和GPT-4一样的数学能力？ 来自复旦和上海AI实验室的研究团队，刚刚研发出了具有超强数学能力的模型。 它以Llama 3为基础，参数量只有8B，却在 奥赛级别 的题目上取得了比肩GPT-4的准确率。 这款模型名为MCTSr，是将AlphaGo中用到的 蒙特卡洛算法 与Llama3结合而成。 它能用少量的数据实现和GPT-4等的相同效果，让网友感叹Q*成真了，小模型在数学上也能做的和GPT-4等著名模型一样好。 就此又有网友表示，MCTSr能用极少的参数实现相同的效果，加上有时候训练收益随规模递减，表明架构才是当前AI的瓶颈，而不是运算。 这样的趋势也让人想起了AI算力霸主英伟达，开始思考规模化是不是不那么重要了，会不会利空老黄呢？ 所以，MCTSr具体运用了什么样的方法呢？ 将蒙特卡洛引入 ………………………………