大模型“脑回路”统一了？LLMs竟然能正确回答其他模型虚构的题目

文章预览

 夕小瑶科技说 原创  作者 | 谢年年 最近开源模型Llama3.1上线，其405B模型竟超越闭源GPT-4o，一夜之间成最强大模型！ 然而榜首的位置还没坐热，仅隔一天，Mistral AI团队发布Mistral Large 2 ，最强开源再易主！ 大模型之间的竞争异常激烈,榜单的分数也是越刷越高，你解决不了的问题，对我来说so easy！比如问倒一众模型的问题：3.9和3.11哪个大？Mistral Large 2模型居然答对了！ LLMs之间的规模和能力或许各不相同，但在chatgpt之后的LLMs，无论在架构、训练方式、数据方面都高度统一：比如都使用仅解码器的 transformer的结构，以及都有位置嵌入设计，预训练语料库由书籍、互联网文本和代码组成，使用基于随机梯度下降（SGD）进行优化 ，以及在预训练后进行指令调优和对齐的类似程序等等。 Salesforce AI团队最近就发现：不同的大模型家族之间， 无论是闭 ………………………………