多模态预训练模型在OPPO端云场景的落地实践

文章预览

导读   本文将分享 OPPO 多模态预训练模型在端云场景的落地实践。文章将聚焦于如何在手机端实现云场景大模型的部署，在资源不充分的情况下以更低的成本完成训练和推理的落地。 具体内容分成三个主题： 1.  端侧图文检索技术研究 2.  文图生成 & 理解态模型的应用优化 3.   文图生成模型的端侧轻量化 分享嘉宾｜ 陈宸 博士 OPPO 高级算法工程师   编辑整理｜曾新宇 内容校对｜李瑶 出品社区｜ DataFun 01 端侧图文检索技术研究 1. 解决了什么问题？ 首先来介绍图文检索技术。以前在手机端相册搜索照片，都是基于标签来搜索。从 CLIP 模型出现后开始做自然语言搜索。目前正在解决端侧性能、搜索效果、安全等问题。技术难度并不大，重点在于提高搜索速度。并且要保持与云侧模型相同的精度，供断网时使用。 2. 算法优化 算法优化集中在压缩 ………………………………