Llama 3.1意外泄露！405B超大杯内测：9.11和9.9哪个大轻松解决

文章预览

来源 | 量子位 ID | QbitAI Llama 3超大杯 405B参数 版，终于要来了。 而最新HuggingFace抱抱脸泄露页面显示，还不止于此： 新模型被命名为 Llama 3.1 ，与已经发布的Llama 3系列8B和70B版本相比，又涨了一个版本号。 模型发布在一个神秘的组织账号sllhf，旗下并没有公开发布的内容。 该组织成员多为HuggingFace内部工程师，是专门用来发布测试版模型的，所有仓库都被设置为私有。 不过这一次， Llama 3.1的特定版本被短暂的误设置为公开 。 根据及时看到该页面的网友反馈，3.1系列将会拥有 128k上下文长度 ，有 8B、70B和405B三个版本，前两个从405B蒸馏而来 。 这或许意味着，Llama 3已经发布的两个小号版本，也会在这次得到更新。 Llama 3.1的405B参数将是 密集 的，不采用像GPT-4一样的MoE架构。 Llama 3超大杯将至，知道9.9大于9.11 此前有消息称，Llama 3 405B将于7月23日发布 ………………………………