Meta 刚刚低调发布了一个最小且快速的 LLM大模型训练和推理-20241020082628

文章预览

2024-10-20 08:26 本条微博链接 Meta 刚刚低调发布了一个最小且快速的 LLM大模型训练和推理框架库Meta Lingua。 目的是让更多人来训练 llama。可以 24 小时训练出一个 llama 7B，MMLU达到 48%。在许多下游任务上获得了非常强大的性能，并且与DCLM 基线 1.0的性能相匹配。 国内大模型要笑醒，训练一个国产大模型只需要 10 万人民币，费用计算： $2.50/h（租用一个 H100） × 256个（h100 gpu） × 24H = $15,360。 Meta Lingua主要特点 ： - 允许用户快 ………………………………