编程能力超GPT-4，羊驼代码版“超大杯”来了，小扎还亲自剧透Llama3

文章预览

克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 羊驼家族的“最强开源代码模型”，迎来了它的“超大杯”—— 就在今天凌晨，Meta宣布推出Code Llama的70B版本。 在HumanEval测试中，Code Llama-70B的表现在开源代码模型中位列第一，甚至超越了GPT-4。 此次发布的超大杯，保持着与小号版本相同的许可协议，也就是仍然可以免费商用。 版本上，也和往常一样分为原版、针对自然语言指令微调的Instruct版和针对Python微调的Python版。 其中击败GPT-4的是Instruct版本，它取得了67.8分的pass@1成绩，胜过了GPT-4的67分。 与34B模型相比，基础版和Instruct版的成绩分别提高了8.6%和63.4%。 Code Llama的所有版本均在16000个token的序列上进行训练，上下文长度可达10万token。 这意味着，除了生成更长的代码，Code Llama还可以从用户的自定义代码库读取更多内容，将其传递到模型中。 这样一来 ………………………………