专栏名称: 瓦力算法学研所
我们是一个致力于分享人工智能、机器学习和数据科学方面理论与应用知识的公众号。我们将分享最新的人工智能和数据科学技术、案例、研究成果、新闻和趋势,以及如何应用这些技术来解决实际问题,探索每一项技术落地的可行性方案。
今天看啥  ›  专栏  ›  瓦力算法学研所

当我拿出手撕LLM+手撕多模态,阁下又该如何应对?

瓦力算法学研所  · 公众号  ·  · 2024-09-04 21:30

文章预览

我是 小冬瓜AIGC ,原创超长文知识分享 原创课程已帮助多名同学上岸 LLM 赛道 知乎 / 小红书  : 小冬瓜AIGC 目前主流多模态(Vision-Language-Model, VLM)模型 多数都是以语言为中心的架构 其中以 Llava 模型最具有代表性,能够将vision-embedding投影到LLM Embedding,随后进行自回归生成。 在开始手撕Llava类之前,我们须掌握ViT、CLIP、Llama等前置知识  在熟悉Llama的情况下,可以完整 手撕ViT、Clip、Llava 手撕代码 上述为课程的手撕Notebook 更多课程内容(LLM+RLHF+VLM)详情如下 一、课程概况 课程内容:直播 + 往期录播 + 手撕级Notebook + 非调包Code + 算法图解 + 课程PPT 课程项目:垂域大模型实操 + DeepSpeed多卡RLHF训练 进阶专题 : 手撕 RL 、手撕 RLHF 、手撕多模态VLM 、LLM加速、LLM分布式训练、手撕RLHF-PPO Notebook 实操效果 :本课程Code仓库, 实战多卡训练,已全线支持Llama-3-8B/70B ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览