4o-mini只有8B，o1也才300B！微软论文意外曝光GPT核心机密

文章预览

来自：量子位 | 公众号 QbitAI 微软又把OpenAI的机密泄露了？？在论文中明晃晃写着： o1-preview 约300B参数， GPT-4o 约200B， GPT-4o-mini 约8B…… ‍ 英伟达2024年初发布B200时，就摊牌了 GPT-4 是1.8T MoE也就是1800B，这里微软的数字更精确，为 1.76T 。 除此之外，论文中给OpenAI的mini系列，Claude3.5 Sonnet也都附上了参数，总结如下： o1-preview约300B；o1-mini约100B GPT-4o约200B；GPT-4o-mini约8B Claude 3.5 Sonnet 2024-10-22版本约175B 微软自己的Phi-3-7B，这个不用约了就是7B 虽然论文中后面也有免责声明： 确切数据尚未公开，这里大部分数字是估计的。 但还是有不少人觉得事情没这么简单。 比如为什么唯独没有放谷歌Gemini模型的参数估计？或许他们对放出来的数字还是有信心的。 也有人认为，大多数模型都是在英伟达GPU上运行的，所以可以通过token生成速度来估计。 只有谷歌模型是 ………………………………