专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
今天看啥  ›  专栏  ›  新智元

Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的

新智元  · 公众号  · AI  · 2024-07-28 12:35
    

文章预览

   新智元报道   编辑:乔杨 【新智元导读】 最近,Latent Space发布的播客节目中请来了Meta的AI科学家Thomas Scialom。 他在节目中揭秘了Llama 3.1的一些研发思路,并透露了后续Llama 4的更新方向。 刚刚发布的开源「巨无霸」Llama 3.1虽然自带论文,但依旧激起了广大网友强烈的好奇心和求知欲。 Llama 3.1都使用了哪些数据?其中有多少合成数据?为什么不使用MoE架构? 后训练与RLHF流程是如何进行的?模型评估是如何进行的? 我们什么时候可以见到Llama 4?Meta是否会发展agent? 恰逢Llama 3.1刚刚发布,Meta科学家就现身 播客节目Latent Space ,秉持着开源分享的精神,对以上问题都作出了清晰的回答。 受访者Thomas Scialom现任Meta的人工智能研究科学家,领导了Llama 2和Llama 3的后训练,并参加了CodeLlama、Toolformer、Bloom、GAIA等多个项目。 以下是采访内容的节选。 Llama ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览