大模型专题：2024快意大模型及短视频场景应用

文章预览

如何下载资料？ 微信扫下方二维码加入星球平台 【老会员续费特惠】 今天分享的是：大模型专题：2024快意大模型及短视频场景应用 报告共计：56页 2022年底ChatGPT上线后，快手于2023年初启动快意大模型研发专项。其具备多方面优势，如广泛应用场景、海量多模态数据及领先算力基建。在模型能力上，已发布多个版本，23年8/9月的13B/66B版本在权威榜单中表现领先，24年2月的175B版本在内部评测集上总体效果超GPT - 3.5，接近GPT - 4/4o水平，且快意多模态理解大模型开发中，kwaii - vlm - 8B - dev版本业务可用性佳。关键技术涵盖预训练、对齐、推理等阶段，包括Temporal Scaling Law、MiLe Loss、Scaffold - BPE、MoE路由优化等，还涉及SFT训练数据采样、答案质量提升、负反馈机制、迭代式RLHF + RLAIF及细粒度反馈训练等策略，以及词汇单元并行解码策略。应用场景丰富，如A ………………………………