从llm丝滑过渡到多模态，是一种什么体验

文章预览

我是 小冬瓜AIGC ，原创超长文知识分享 原创课程已帮助多名同学上岸 LLM 赛道 知乎 / 小红书  ： 小冬瓜AIGC 目前主流多模态(Vision-Language-Model, VLM)模型 多数都是以语言为中心的架构 其中以 Llava 模型最具有代表性，能够将vision-embedding投影到LLM Embedding，随后进行自回归生成。 在开始手撕Llava类之前，我们须掌握ViT、CLIP、Llama等前置知识  在熟悉Llama的情况下，可以完整 手撕ViT、Clip、Llava 手撕代码 上述为课程的手撕Notebook 更多课程内容(LLM+RLHF+VLM)详情如下 一、课程概况 课程内容：直播 + 往期录播 + 手撕级Notebook + 非调包Code + 算法图解 + 课程PPT 课程项目：垂域大模型实操 + DeepSpeed多卡RLHF训练 进阶专题 ： 手撕 RL 、手撕 RLHF 、手撕多模态VLM 、LLM加速、LLM分布式训练、手撕RLHF-PPO Notebook 实操效果 ：本课程Code仓库， 实战多卡训练，已全线支持Llama-3-8B/70B ………………………………