今日开源（2024-09-29）：智源开源多模态模型Emu3，单个transformer简化设计，预测下一个token训练生成

文章预览

🏆 基座模型 ①项目：智源Emu3 ★ Emu3是一套最新的多模态模型，仅通过下一个token预测进行训练，能够 实现高质量图像生成、准确的图文理解和流畅的视频创作 。 它在生成和感知任务上超越了多个特定任务的旗舰模型，并且不需要扩散或组合架构。 Emu3通过将多模态序列统一到一个单一的transformer模型中 ，简化了复杂的多模态模型设计，展示了在训练和推理过程中扩展的巨大潜力。 ☆一键收藏： https://sota.jiqizhixin.com/project/emu3 ②项目：AMD-135M ★ AMD 发布了其首个小型语言模型 AMD-135M，采用了“推测解码”技术。 AMD-Llama-135m 是一个基于 LLaMA2 模型架构的语言模型，使用 AMD MI250 GPU 进行训练。该模型可以通过 Hugging Face 的 transformers 库加载，并使用与 LLaMA2 相同的分词器。 它可以作为 LLaMA2 和 CodeLlama 的推测解码草稿模型。 ☆一键收藏： https://sota.jiqizh ………………………………